Googleは、最先端の独自AIモデルを対象とした世界初の二重盲検評価を発表した。外部評価を暗号化された「ブラックボックス」環境に限定し、モデルがテスト情報を事前に取得して性能を最適化することを防ぐ。
試験前に問題を見られなければ学生の実力を正確に測れるのと同じように、現在のAIモデル評価も同じ問題に直面している。モデルがテスト問題に事前に触れると（注：いわゆる「ベンチマーク汚染」）、評価結果の信頼性は大きく損なわれる。
Googleは、シンガポール人工知能安全研究所、OpenMined、AVERI、MLCommonsと共同で、プライバシー保護環境においてGemini Flash Liteモデルの機密ベンチマークテストを実施し、評価結果の完全性を高めた。
従来の高リスクな外部評価には、常に難しいジレンマが存在していた。評価側がテスト用プロンプトを提出すれば、モデル側が問題を事前に確認するリスクがある。一方、モデル側がモデルの重みを提出すれば、知的財産が漏えいするリスクに直面する。
二重盲検評価はこの矛盾を解決する。Google Cloudの機密コンピューティング製品群に含まれるConfidential Spaceにより、暗号化検証を通じて、外部評価データと独自モデルをそれぞれの所有者から秘匿できる。評価側はGeminiモデルの重みを閲覧できず、Googleも評価側のテスト用プロンプトを見ることができない。
この暗号化手法はベンチマーク汚染を効果的に防ぎながら、機密データも保護できる。特に、サイバーセキュリティや政府機関が実施する機密性の高い評価において重要となる。二重盲検評価により、独立機関はデータ主権と安全性を損なうことなく、先進的なAIモデルを厳格にテストできる。
Googleは、この試験運用がモデル監督の新たな方向性を切り開き、業界全体でより安全で信頼性が高く、社会から信頼されるAIシステムの構築に役立つことを期待していると述べた。