「ガーディアン」紙によると、オーストラリアのソーシャルメディア禁止の背景にある関連技術を試験した報告書の執筆者は、編集過程でChatGPTを使用したことを認めた一方、報告書にある複数の引用ミスが人工知能の「幻覚」によるものだという見方は否定した。
348万豪ドル（注：現在の為替レートで約1,662.9万元）を投じた年齢確認技術の試験は、英国に本拠を置くAge Check Certification Scheme（ACCS）が昨年実施した。主な目的は、ソーシャルメディアプラットフォームがオーストラリアで16歳未満のユーザーを対象とするソーシャルメディア禁止を実施するために利用する可能性のある各種技術を試験することだった。
オーストラリアの通信相Anika Wells氏はこの報告書を高く評価し、「多くの有効な選択肢」を示したとして、昨年12月にソーシャルメディア禁止が正式に発効する道を開いたと述べていた。
報告書の大部分は、執筆者が現在利用可能なさまざまな年齢確認技術を実際に試験した結果に基づいている。しかし、そのうち1章では「新興技術」を専門に扱い、複数の学術論文を引用して、将来的に年齢確認に利用される可能性のある新手法を紹介していた。
オーストラリア上院では現在、ソーシャルメディア禁止に関する法律をさらに強化するための調査が行われている。その過程で、この報告書には少なくとも2カ所の引用ミスがあるとの資料が提出された。資料では、これらの「引用は実在する出典に基づくものではなく、AIの幻覚によって生成されたように見える」と指摘されていた。
今月、「ガーディアン」紙オーストラリア版がこの件についてACCSに問い合わせた際、同機関の広報担当者は当初、報告書で人工知能を使用したことを否定した。しかしその後、チームが一部の段落をより簡潔に表現するため、AIを使って書き換えたことを認めた。
同広報担当者は、「私たちはAIを使って報告書や、その中で引用した資料を生成してはいない……すべての資料について、リンクと報告書が実在し、引用された具体的な問題に関連していることを確認した」と述べた。
しかし、「ガーディアン」紙オーストラリア版が報告書を独自に分析したところ、同じ章だけで6件の参考文献に誤りが見つかった。
誤りには、デジタルオブジェクト識別子（DOI、特定の学術論文に対応する一連の固有の文字と数字）の一部が存在しない論文にリンクしていたこと、一部のDOIが誤った論文を指していたこと、著者名・誌名・発表年の組み合わせが既知の文献と一致しなかったこと、さらに一部のDOIリンク先の論文が、報告書で主張されている結論を導いていなかったことなどが含まれていた。
その後、この広報担当者はACCSが依拠した研究についてさらに説明し、新たな参考文献を提示した。しかし、今回の回答にも誤りがあった。
ACCSが報告書の元の引用を訂正するために提示した学術論文のリストでは、一部の論文について、発表年、著者、誌名が報告書に当初記載されていた引用と一致していなかった。
ACCSが引用した論文の1本は、2025年3月にアクセスされたとされていた。しかし、その研究の主要著者の一人は「ガーディアン」紙に対し、その論文が一般公開されたのは2025年6月に正式発表された後だと確認した。また、ACCSが当初その論文の主要著者として挙げた「Jamil」氏は、実際にはこの論文に一切関与しておらず、ACCSの報告書も論文の内容を誤って要約していたと明らかにした。
引用された雑誌で見つけることができなかった別の参考文献「Weber et al. 2011」について、同広報担当者は、この文献がモナシュ大学のある研究で引用されていたとして、その研究を「ガーディアン」紙に提示した。しかし、ACCSが提示したモナシュ大学の論文には、Weberという名の参考文献は一つも記載されていなかった。
「ガーディアン」紙が、報告書のE部分とK部分にある4つのリンクに、リンクの出典がChatGPTであることを示すメタデータが含まれていると発見して初めて、同広報担当者は報告書で実際にAIを使用したことを認めた。
同広報担当者は、リンクにChatGPTのメタデータが残っていたため、機関は実際にはAIの使用を開示しており、しかもリンク自体は正しいため、問題だとは考えていないと主張した。
同氏は、AIは一部の段落をより簡潔に表現するためだけに使われ、原始研究の実施や報告書の生成には使われていないと述べた。
「すべてのリンクは確認・検証されている。意図せぬ誤りがあったのであれば謝罪するが、全過程は人間によって検証された」
オーストラリア連邦政府は以前から、政府向けの報告書作成で請負業者がAIを使用することに否定的な態度を示していた。デロイトは昨年、報告書に誤りがあったとして、政府との440万豪ドル（現在の為替レートで約210.3万元）の契約金の一部、44万豪ドルを返還し、同コンサルティング会社もAIを使用したことを認めていた。
「ガーディアン」紙がWells氏の事務所に寄せた質問は、その後、同氏が所属する部門に転送された。同部門の広報担当者は先週金曜日、「当部門は以下の問題を調査しており、必要に応じてACCSと連絡を取る」と述べた。
現地時間の先週金曜日に開かれた上院調査の公聴会で、関係部門の職員は、すでにACCSと面会したと述べた。ACCSは、報告書の誤りは、当初は正常にアクセスできた一部のリンクが後に無効になったことが原因だと主張した。しかし、関係職員はこの説明を独自に検証しておらず、これらのリンクをさかのぼって確認するのは「非常に困難」だと述べた。
職員によると、1000ページに及ぶ報告書のうち、引用に関わる部分は26ページだけで、そこに現れたのは「少数の誤り」にすぎないという。
同部門の第一補佐次官Sarah Vandenbroek氏は、「ACCSは、文書の公開時点ですべてのリンクを確認しており、その時点ではすべて正常にアクセスできたと私たちに保証した。したがって、その間に何らかの変化が起きた可能性がある。また、リンクの一部が無効になっていても、関連する原文書は依然として存在し、引用は有効だと保証している」と述べた。
オーストラリア国立大学規制・グローバルガバナンス学部のChristian Downie教授は以前、AIの幻覚を含む提出資料を政府が受け取った事例を研究していた。同教授は、政府が受け取った報告書や提出資料に偽の引用があると判明した場合、それらの誤りがAIによるものかどうかにかかわらず、政府が誤った意思決定を行う可能性があり、「政府機関に対する国民の信頼と信用を損なう」と述べた。
同教授は、「政府はこの問題を検討していると考えるべきだ。今後は、契約条項や相応の罰則によって、こうした行為の発生を阻止する必要があるかもしれない」と述べた。
無所属上院議員のFatima Payman氏は、「昨年、AIのごみのような内容に満ちたデロイトの報告書が引き起こした騒動は、政府請負業者が報告書で文献を無責任に引用する慣行を完全に終わらせるきっかけになるはずだった」と述べた。同氏は、「政府はこの報告書を担当した請負業者に謝罪と返金を求めなければならない」と語った。