Phys.org nashrining bugun (24-kun) xabar berishicha, Kardiff universiteti va Melburn universiteti o‘tkazgan yangi tadqiqot generativ sun’iy intellekt (GenAI) hozircha talabalar yozma topshiriqlarini inson o‘qituvchilari kabi ishonchli baholay olmasligini ko‘rsatdi.
Tadqiqotchilar katta til modellarining talabalar ishlarini baholash qobiliyatini sinash uchun ChatGPT’ning ikki versiyasidan foydalanib, biologiya yo‘nalishida tahsil olayotgan bakalavr talabalarning 50 ta essesiga baho qo‘ydilar. ChatGPT bu esselarni 7 ta mezon asosida baholashi kerak edi. Tadqiqotchilar, shuningdek, 4 xil prompt usulidan foydalandilar, so‘ngra katta til modeli va insonlar qo‘ygan o‘rtacha baholar hamda ballardagi o‘zgarishlarni taqqosladilar.
Kardiff universiteti Biologiya fanlari maktabidan doktor Uilyam Key shunday dedi: “Natijalar model bergan baholar juda katta tebranishga ega ekanini va insonlar qo‘ygan baholarni aniq bashorat qila olmasligini ko‘rsatdi. Generativ AI va insonlar bir xil esselar to‘plamini baholaganida, sezilarli farqlar kuzatildi. Faqat esse umumiy balliga qaralganda, ikkala tomon natijalari nisbatan yaqin; ammo har bir baholash mezoni va har bir esse bo‘yicha katta til modeli bilan insonlar baholari o‘rtasidagi farq ancha yaqqol ko‘rinadi.”
Bitta holatni istisno qilganda, AI modellari bergan o‘rtacha baholar odatda insonlar qo‘ygan baholardan yuqori bo‘lgan. O‘rtacha baholar bo‘yicha AI modellari va insonlar baholari o‘rtasidagi eng katta farq 16.1 ballni tashkil etgan; alohida esse bo‘yicha esa eng katta farq 40 ballga yetgan.
Uilyam Key, shuningdek, AI odatda yuqori baholangan esselarning natijalarini pasaytirib, past baholangan topshiriqlar natijalarini oshirishini aniqladi. Natijada baholar tizimli ravishda o‘rta qiymat atrofida jamlangan.
Tadqiqot natijalari shuni ko‘rsatadiki, hech bo‘lmaganda hozirgi bosqichda, hatto katta hajmdagi tayyorgarlikdan so‘ng ham, AI subyektivlik darajasi yuqori bo‘lgan yozma topshiriqlarga insonlarnikiga teng darajada ishonchli baho bera olmaydi. “Biz sinovdan o‘tkazgan katta til modellari hozircha o‘qituvchilarning o‘rnini egallash yoki talabalar topshiriqlari natijalarini bashorat qilish uchun mos emas.”
Tadqiqotchilar ta’kidlashicha, oliy ta’lim sohasi katta til modellari andozalarni aniqlash qobiliyatidan foydalanib, talabalar ishlarini baholashni xolisroq qilish, shu bilan birga baholash samaradorligini oshirish va o‘qituvchilar yukini kamaytirish imkoniyatiga katta qiziqish bildirmoqda. Biroq ushbu tadqiqot hozircha bunday yondashuv maqsadga muvofiq emasligini ko‘rsatdi.
Bundan tashqari, talabaning aniq roziligisiz uning topshirig‘ini AI vositasiga yuborishning o‘zi ham axloqiy muammolarni keltirib chiqaradi; katta til modellariga talabalarning uzun yozma topshiriqlarini baholashda tayanish ham mumkin emas, ham kerak emas. “Katta til modellari rivojlanishda davom etar ekan, kelajakda ularning insoniy mulohazaga taqlid qilish qobiliyati yaxshilanishi mumkin. Ammo ushbu tadqiqotdan ko‘rinib turibdiki, AI bergan baholarni insonlar baholari bilan haqiqatan ham bir xil darajaga keltirish oson bo‘lmasa kerak.”