외신 Phys.org는 오늘(24일) 카디프대학교와 멜버른대학교의 새로운 연구에서 생성형 인공지능(GenAI)이 현재 인간 교사만큼 신뢰성 있게 학생의 서면 과제를 평가하지 못한다는 사실이 밝혀졌다고 보도했다.
연구진은 ChatGPT 두 버전을 사용해 생명과학 전공 학부생의 논문 50편을 채점하고, 대규모 언어 모델의 학생 과제 평가 능력을 검증했다. ChatGPT는 7가지 기준에 따라 논문을 채점했으며, 연구진은 서로 다른 4가지 프롬프트 방식도 적용했다. 이후 대규모 언어 모델과 사람의 채점 결과를 평균 점수와 점수 변동 측면에서 비교했다.
카디프대학교 생명과학대학의 윌리엄 케이 박사는 “연구 결과 모델이 매긴 점수의 변동 폭이 매우 커서 사람의 채점 결과를 정확하게 예측하지 못하는 것으로 나타났다. 생성형 AI와 사람이 같은 논문을 채점했을 때 뚜렷한 차이가 있었다. 논문의 총점만 보면 두 결과가 비교적 비슷했지만, 각 채점 기준과 개별 논문으로 범위를 좁히면 대규모 언어 모델과 사람의 채점 결과 사이에 상당한 차이가 나타났다”고 말했다.
한 가지 경우를 제외하면 AI 모델이 매긴 평균 점수는 대체로 사람이 매긴 점수보다 높았다. 평균 점수 기준으로 AI 모델과 사람의 채점 결과 간 최대 차이는 16.1점에 달했으며, 개별 논문에서는 최대 40점의 차이가 나타났다.
윌리엄 케이 박사는 또한 AI가 고득점 논문의 점수는 낮추고 저득점 과제의 점수는 높이는 경향이 있어, 결과적으로 점수가 체계적으로 중간에 집중된다는 사실을 발견했다.
연구 결과에 따르면 적어도 현재로서는 AI가 아무리 많은 훈련을 거치더라도 주관성이 강한 서면 과제에 대해 인간과 비슷한 수준의 점수를 신뢰성 있게 부여할 수 없다. “우리가 테스트한 대규모 언어 모델은 현재 교사를 대신해 학생의 과제 성적을 예측하는 데 적합하지 않다”고 연구진은 밝혔다.
연구진은 고등교육 분야에서 대규모 언어 모델이 패턴 인식 능력을 활용해 학생 과제의 채점을 더욱 객관적으로 만들고, 동시에 채점 효율을 높여 교직원의 부담을 줄일 수 있을지에 큰 관심을 보이고 있다고 지적했다. 그러나 이번 연구는 현재로서는 이러한 활용이 적절하지 않다는 점을 보여준다.
또한 학생의 명확한 동의 없이 과제를 AI 도구에 제출하는 것은 그 자체로 윤리적 문제와 관련된다. 대규모 언어 모델에 학생의 장문 서면 과제 채점을 맡을 수도 없고, 맡아서도 안 된다. “대규모 언어 모델이 계속 발전하면서 향후 인간의 판단을 모방하는 능력이 향상될 가능성은 있다. 하지만 이번 연구를 보면 AI가 부여한 점수와 사람의 채점 결과가 실제로 일치하도록 만드는 일은 결코 쉽지 않을 것으로 보인다”고 연구진은 덧붙였다.