Kulingana na ripoti ya Phys.org ya leo (tarehe 24), utafiti mpya wa Chuo Kikuu cha Cardiff na Chuo Kikuu cha Melbourne umebaini kuwa akili bandia zalishi (GenAI) bado haiwezi kutathmini kwa kutegemewa kazi za maandishi za wanafunzi kama walimu wa binadamu.
Watafiti walitumia matoleo mawili ya ChatGPT kuweka alama kwa insha 50 za wanafunzi wa shahada ya kwanza ya sayansi ya biolojia, ili kupima uwezo wa modeli kubwa kutathmini kazi za wanafunzi. ChatGPT ilitakiwa kusahihisha insha hizo kwa kuzingatia vigezo 7, huku watafiti wakitumia pia aina 4 tofauti za maelekezo. Baadaye walilinganisha wastani wa alama na mabadiliko ya alama kati ya modeli kubwa na wakadiriaji wa binadamu.
Dkt. William Kay wa Shule ya Sayansi ya Biolojia ya Chuo Kikuu cha Cardiff alisema: “Matokeo ya utafiti yanaonyesha kuwa alama zilizotolewa na modeli zilitofautiana sana, na hazikuweza kutabiri kwa usahihi alama za wakadiriaji wa binadamu. Wakati GenAI na binadamu waliposahihisha kundi lilelile la insha, kulikuwa na tofauti kubwa. Ukiangalia tu jumla ya alama za insha, matokeo yao yalikuwa karibu kiasi; lakini ukichunguza kila kigezo cha tathmini na kila insha, tofauti kati ya modeli kubwa na wakadiriaji wa binadamu ilikuwa dhahiri.”
Isipokuwa katika hali moja, wastani wa alama zilizotolewa na modeli za AI ulikuwa kwa ujumla juu kuliko alama za wakadiriaji wa binadamu. Kwa wastani wa alama, tofauti kubwa zaidi kati ya modeli za AI na wakadiriaji wa binadamu ilifikia alama 16.1; kwa insha moja, tofauti kubwa zaidi ilifikia alama 40.
William Kay pia aligundua kuwa AI mara nyingi hupunguza alama za insha zilizopata alama za juu, huku ikiongeza alama za kazi zilizopata alama za chini, na hatimaye kufanya alama zielekee kwa utaratibu katikati.
Matokeo ya utafiti yanaonyesha kuwa, angalau kwa sasa, hata baada ya mafunzo mengi, AI bado haiwezi kutoa alama za kuaminika kwa kazi za maandishi zenye kiwango kikubwa cha ubinafsi, kwa kiwango kinacholingana na binadamu. “Kwa sasa, modeli kubwa tulizozifanyia majaribio hazifai kuchukua nafasi ya walimu katika kutabiri alama za kazi za wanafunzi.”
Watafiti walibainisha kuwa sekta ya elimu ya juu inavutiwa sana na iwapo modeli kubwa zinaweza kutumia uwezo wa kutambua mifumo ili kufanya utoaji wa alama za kazi za wanafunzi uwe wa haki zaidi, huku zikiboresha ufanisi wa usahihishaji na kupunguza mzigo kwa wafanyakazi wa elimu. Hata hivyo, utafiti huu unaonyesha kuwa kwa sasa hilo halifai kufanywa.
Zaidi ya hayo, kuwasilisha kazi kwa zana za AI bila kupata ridhaa ya wazi ya mwanafunzi kunahusisha pia masuala ya kimaadili; modeli kubwa haziwezi na hazipaswi kutegemewa kuweka alama kwa kazi ndefu za maandishi za wanafunzi. “Kadiri modeli kubwa zinavyoendelea kukua, uwezo wao wa kuiga uamuzi wa binadamu unaweza kuimarika katika siku zijazo. Lakini kwa kuzingatia utafiti huu, huenda isiwe rahisi kufanya alama za AI zilingane kikamilifu na alama za wakadiriaji wa binadamu.”