حسب ما نقل الموقع الأجنبي Phys.org اليوم (نهار 24)، كشف بحث جديد ديال جامعة كارديف وجامعة ملبورن أن الذكاء الاصطناعي التوليدي (GenAI) مازال ما قادرش يقيّم الواجبات الكتابية ديال الطلبة بموثوقية بحال الأساتذة.
استعمل الباحثون جوج نسخ من ChatGPT باش ينقّطو 50 مقالاً ديال طلبة الإجازة فـ علوم الأحياء، بهدف اختبار قدرة النماذج الكبيرة على تقييم واجبات الطلبة. وكان خاص ChatGPT يصحّح هاد المقالات وفق 7 معايير، واستعمل الباحثون حتى 4 طرق مختلفة لصياغة التعليمات، ومن بعد قارنوا بين المعدلات وتفاوت النقط ديال النموذج الكبير والتنقيط البشري.
قال الدكتور ويليام كاي من كلية علوم الأحياء بجامعة كارديف: «كتبيّن النتائج أن النقط اللي عطاها النموذج كانت متذبذبة بزاف، وما قدرش يتوقّع التنقيط البشري بدقة. ملي كيصحّح الذكاء الاصطناعي التوليدي والبشر نفس مجموعة المقالات، كيبانو اختلافات واضحة. إلا شفنا غير النقطة الإجمالية ديال المقال، فالنتائج اللي عطاها الطرفان قريبة نسبياً؛ ولكن ملي كنمشيو لكل معيار تنقيط ولكل مقال على حدة، كيولي الفرق بين النموذج الكبير والتنقيط البشري واضح بزاف».
ما عدا فحالة وحدة، كانت النقط المتوسطة اللي عطاها نموذج الذكاء الاصطناعي غالباً أعلى من التنقيط البشري. فالنتيجة المتوسطة، وصل أكبر فرق بين النموذج والتنقيط البشري لـ 16.1 نقطة؛ وبالنسبة لمقال واحد، وصل أكبر فرق لـ 40 نقطة.
ولاحظ ويليام كاي حتى أن الذكاء الاصطناعي غالباً كيهبّط نقط المقالات اللي جابت نقط عالية، وكيطلع نقط الواجبات اللي جابت نقط منخفضة، وهاد الشي كيخلّي النقط تتجمع بشكل منهجي فالوسط.
كتبيّن نتائج البحث أنه، على الأقل فهاد المرحلة، وحتى من بعد تدريب مكثف، مازال الذكاء الاصطناعي ما قادرش يعطي للواجبات الكتابية اللي فيها قدر كبير من الحكم الذاتي نقط موثوقة وقريبة من النقط البشرية. وأضاف الباحثون: «النماذج الكبيرة اللي اختبرناها ما مناسبةش حالياً باش تعوّض الأساتذة فالتنبؤ بنقط الواجبات ديال الطلبة».
وأشار الباحثون إلى أن مجال التعليم العالي مهتم فعلاً بإمكانية استغلال قدرة النماذج الكبيرة على التعرّف على الأنماط باش يولي تنقيط واجبات الطلبة أكثر موضوعية، مع رفع نجاعة التصحيح والتقليل من الضغط على الطاقم التعليمي. ولكن هاد البحث كيبين أن هاد الاستعمال ما مناسبش حالياً.
وفوق من هاد الشي، فتقديم واجبات الطلبة لأدوات الذكاء الاصطناعي بلا موافقتهم الصريحة كيثير حتى هو إشكالات أخلاقية؛ وما يمكنش، وما خاصّش، نعتمدو على النماذج الكبيرة باش تنقّط الواجبات الكتابية الطويلة ديال الطلبة. وأضاف الباحثون: «مع استمرار تطور النماذج الكبيرة، يمكن لقدرتها على تقليد الأحكام البشرية أنها تتحسن فالمستقبل. ولكن انطلاقاً من هاد البحث، باين أن الحفاظ فعلاً على تطابق النقط اللي كيخرجها الذكاء الاصطناعي مع التنقيط البشري ما غاديش يكون ساهلاً».