海外メディアPhys.orgが24日に報じたところによると、カーディフ大学とメルボルン大学の新たな研究で、生成AI（GenAI）は現時点で、人間の教師のように学生の記述式課題を信頼性高く評価することはできないと明らかになった。
研究者らはChatGPTの2つのバージョンを使い、生物科学を専攻する学部生の論文50本を採点して、大規模言語モデルが学生の課題を評価する能力を検証した。ChatGPTには7項目の基準に従って論文を採点させ、研究者らは4種類の異なるプロンプトも用いた。その後、大規模言語モデルと人間による採点の平均点および得点のばらつきを比較した。
カーディフ大学生物科学部のウィリアム・ケイ博士は、「研究結果から、モデルが付けた点数には大きなばらつきがあり、人間による採点を正確に予測できないことが分かった。生成AIと人間が同じ論文を採点した場合、明らかな違いが生じる。論文の総合点だけを見ると、両者の結果は比較的近いが、各採点基準や個々の論文にまで細かく見ると、大規模言語モデルと人間による採点の差はかなり大きい」と指摘した。
1つのケースを除き、AIモデルの平均点は人間による採点を上回った。平均点では、AIモデルと人間による採点の差は最大16.1点に達し、個々の論文では最大40点に達した。
ウィリアム・ケイ氏はさらに、AIは高得点の論文を低く評価する一方、低得点の課題を高く評価する傾向があり、最終的に点数が系統的に中間へ集中すると指摘した。
研究結果は、少なくとも現段階では、十分な訓練を受けたAIであっても、主観性の高い記述式課題に対して人間と同等の点数を信頼性高く付けることはできないことを示している。「今回検証した大規模言語モデルは現時点で、教師に代わって学生の課題の成績を予測する用途には適していない」
研究者らは、高等教育の分野では、大規模言語モデルがパターン認識能力を活用して学生の課題の採点をより客観的にし、採点の効率を高め、教職員の負担を軽減できるかどうかに大きな関心が寄せられていると指摘している。しかし今回の研究は、現時点ではそのような利用に適していないことを示した。
また、学生の明確な同意を得ずに課題をAIツールへ提出すること自体にも倫理的な問題がある。大規模言語モデルを、学生の長文記述式課題の採点に依存することはできず、依存すべきでもない。「大規模言語モデルが発展を続ければ、将来的には人間の判断を模倣する能力が向上する可能性がある。しかし今回の研究を見る限り、AIが付ける点数を人間による採点と本当に一致させるのは、容易ではなさそうだ」