4차 산업혁명 이후 인공지능의 등장은 인간과 인공지능의 역할 재정립 가능성에 대한 담론을 촉진하고 있으며, 고등교육 맥락에서는 논증적 글쓰기에 대한 채점과 평가가 과연 인간 교수자만의 고유한 역할인지, 혹은 인공지능과의 협력 가능성이 존재하는지에 대한 탐색이 이루어지고 있다. 이에 본 연구에서는 대학생이 작성한 논증적 글쓰기의 맥락에서 각각 인간과 ChatGPT가 수행하는 평가를 질적으로 비교하고자 하였다. 이를 위하여 총 13명 대학생이 작성한 13편의 논증적 글쓰기 자료를 수집하였다. 이후 논증적 글쓰기 평가의 네 가지 범주인 글의 내용, 구조, 표현, 자료 차용의 영역에 대하여 인간평가자 3인과 ChatGPT가 각각 평가를 진행하였으며, 이에 대한 일대일 인터뷰를 모든 평가 주체와 진행하여 개방 코딩의 방식으로 그 응답을 분석하였다. 분석 결과, 인간과 ChatGPT는 대학 논증적 글쓰기 평가의 모든 영역에서 ChatGPT가 인간을 보조하는 형태의 상호보완적 평가 협력 시스템을 구축할 수 있으리라 기대된다. 글의 내용적 측면에서 ChatGPT가 평가 기준에 따라 객관적인 채점을 진행한 후, 인간평가자가 필자의 미묘한 어투와 뉘앙스를 검토해야 한다. 글의 구조적 측면에서 ChatGPT가 논증적 글쓰기 및 평가 예시를 학습할 수 있도록 충분히 훈련한 후 본격적인 인간과의 평가 협력을 진행해야 한다. 글의 표현적 측면에서 ChatGPT가 기초 문법적 오류를 먼저 검토한 후, 인간평가자가 필자의 배경과 맥락을 고려한 평가를 최종적으로 진행해야 한다. 글의 자료 차용적 측면에서 인간과 ChatGPT 간에 공동의 평가 기준 해석이 미리 논의된 후, 각자의 강점인 역할을 수행해야 한다. 본 연구는 교육공학적 관점에서 인간과 ChatGPT의 상호보완적 협력 가능성을 탐색적으로 제안함과 동시에 인간 고유의 역할과 판단이 여전히 중요하고 필요함을 강조하고 있다는 점에서 의의가 있다. 나아가 교육 현장에서 인간과 인공지능의 협력이 가져올 한계와 잠재력을 복합적으로 고려하며 협력적 평가 생태계를 구축할 것을 시사한다.

주요어 : 생성형 인공지능, ChatGPT, 논증적 글쓰기, 평가 협력