Theo Phys.org, một nghiên cứu mới của Đại học Cardiff và Đại học Melbourne cho thấy trí tuệ nhân tạo tạo sinh (GenAI) hiện vẫn chưa thể đánh giá bài tập viết của sinh viên đáng tin cậy như giáo viên.
Các nhà nghiên cứu đã sử dụng hai phiên bản ChatGPT để chấm 50 bài luận của sinh viên bậc đại học ngành khoa học sinh học, nhằm kiểm tra khả năng đánh giá bài tập của sinh viên bằng mô hình ngôn ngữ lớn. ChatGPT được yêu cầu chấm các bài luận theo 7 tiêu chí, đồng thời các nhà nghiên cứu sử dụng 4 cách viết lời nhắc khác nhau, sau đó so sánh điểm trung bình và mức độ dao động điểm giữa mô hình ngôn ngữ lớn với người chấm.
Tiến sĩ William Kai thuộc Trường Khoa học Sinh học, Đại học Cardiff, cho biết: “Kết quả nghiên cứu cho thấy điểm số do mô hình đưa ra dao động rất lớn và không thể dự đoán chính xác điểm của con người. Khi AI tạo sinh và con người chấm cùng một nhóm bài luận, kết quả có sự khác biệt rõ rệt. Nếu chỉ xét tổng điểm bài luận, kết quả của hai bên tương đối gần nhau; nhưng khi xem xét từng tiêu chí chấm điểm và từng bài luận, chênh lệch giữa mô hình ngôn ngữ lớn với người chấm trở nên khá đáng kể.”
Ngoại trừ một trường hợp, điểm trung bình do mô hình AI đưa ra nhìn chung đều cao hơn điểm của con người. Xét về điểm trung bình, chênh lệch lớn nhất giữa mô hình AI và điểm của con người là 16,1 điểm; đối với từng bài luận, chênh lệch lớn nhất lên tới 40 điểm.
William Kai cũng phát hiện AI thường hạ điểm các bài luận đạt điểm cao, đồng thời nâng điểm những bài có điểm thấp, khiến điểm số cuối cùng bị dồn một cách có hệ thống về mức trung bình.
Kết quả nghiên cứu cho thấy, ít nhất là ở giai đoạn hiện nay, dù đã trải qua quá trình đào tạo quy mô lớn, AI vẫn chưa thể đáng tin cậy đưa ra điểm số tương đương con người cho các bài tập viết mang tính chủ quan cao. “Các mô hình ngôn ngữ lớn mà chúng tôi thử nghiệm hiện chưa phù hợp để thay thế giáo viên trong việc dự đoán điểm bài tập cho sinh viên.”
Các nhà nghiên cứu chỉ ra rằng lĩnh vực giáo dục đại học thực sự quan tâm đến việc liệu mô hình ngôn ngữ lớn có thể tận dụng khả năng nhận diện mẫu để giúp việc chấm bài của sinh viên khách quan hơn, đồng thời nâng cao hiệu quả chấm điểm và giảm áp lực cho đội ngũ giảng viên hay không. Tuy nhiên, nghiên cứu này cho thấy hiện chưa phù hợp để làm như vậy.
Ngoài ra, việc gửi bài tập cho các công cụ AI khi chưa có sự đồng ý rõ ràng của sinh viên cũng liên quan đến các vấn đề đạo đức; không thể và cũng không nên dựa vào mô hình ngôn ngữ lớn để chấm các bài viết dài của sinh viên. “Khi các mô hình ngôn ngữ lớn tiếp tục phát triển, khả năng mô phỏng phán đoán của con người có thể được cải thiện trong tương lai. Tuy nhiên, theo nghiên cứu này, để điểm số do AI đưa ra thực sự nhất quán với điểm của con người có lẽ sẽ không dễ dàng.”