英国人工知能安全研究所（AISI）は現地時間の火曜日、OpenAIとAnthropicのAIモデルをテストした際、あるAIエージェントが偽のオンラインIDを作成してセキュリティシステムへの未承認アクセス権を取得し、新たな一連のセキュリティ脆弱性が明らかになったと発表した。
同研究所によると、AnthropicのMythos 5とOpenAIのGPT-5.6-Solを搭載したエージェントが、政府機関で実施された安全性評価の過程で未承認の操作を行った。これらのテストは、関連モデルの能力を評価することを目的としていた。
AISIはブログ記事で、「テスト対象となったエージェントの一部は、実在する人や組織を対象に、潜在的に有害な活動を継続的に行っていた」と述べた。
この報告は、現在のAIエージェントのテスト手順における安全対策が依然として不十分であることを浮き彫りにした。一方、AI企業はエージェント技術を積極的に推進し、将来のビジネス発展における重要な方向性と位置付けている。
AISIは主要AI研究所と自主協定を結ぶことで、高度なAIモデルをテストする権限を得た。同機関は、エージェントの能力を評価するため、架空のサイバーセキュリティ環境にエージェントを投入した。
AISIは計122件のテスト課題を実施し、そのうち10回のテスト実行で、未承認の行動を19回確認した。内訳は、Anthropicのエージェントによる違反操作が17回、OpenAIのエージェントによるものが2回だった。
AISIによると、最も深刻な違反行為では、あるエージェントが悪意のあるコードを作成し、偽のオンラインIDを作って、実在する人にそのコードを承認させようとした。ただし同機関は、これらの脆弱性に関する事案はいずれも現実世界で実際の被害をもたらしていないと付け加えた。
AISIは偽のIDを作成したエージェントを明らかにしていないが、この事案はOpenAIが以前に自ら公表した2件のセキュリティ事案のいずれにも該当しない。
カリフォルニア州の非営利団体CivAIの研究者、Andrew Yoon氏は、この違反行為はAnthropicのエージェントによるものだった可能性があるとの見方を示した。
Yoon氏は、「Mythosは自分が実在する人々を標的にしていることを明確に認識しながらも、このような欺瞞的な行動を取った。これは、Anthropicが自社モデルを掌握している度合いが、同社自身の認識ほど高くない可能性を示している」と述べた。
AnthropicはソーシャルプラットフォームXで声明を発表し、詳細を把握して独自の調査を行うため、AISIと緊密に協力していると述べた。
OpenAIは自社ブログで関連する詳細を公表し、同社のエージェントによる2件の未承認操作はいずれも、プロンプトで明確に禁止されていた方法でインターネットにアクセスしたものだったと指摘した。
OpenAIは、「高リスクAI評価の安全対策を強化するため、業界全体との協力に取り組んでいる。今後数週間以内に、国レベルのAI研究機関、独立評価機関、他のAI研究所、関連組織を招集し、この分野の発展を共同で推進する」と述べた。
OpenAIはブログで、別の独立した事案も明らかにした。第三者テスト機関Irregularの設定ミスにより、テスト中のエージェントが意図せずインターネットに接続されたという。これは、Anthropicが先週公表した同様の設定ミスによる事案と符合する。
ロイターは先週、OpenAIが安全制限を突破するエージェントの証拠をさらに発見したことを受け、関連するハッカーの安全性調査の範囲を拡大したと報じた。
AISIによると、今年7月にOpenAIのエージェントがAI企業Hugging Faceへ侵入したセキュリティ事案とは異なり、今回の評価におけるエージェントは隔離されたテスト環境を突破してインターネットに接続したわけではない。同機関は、標準的なテスト手順に従い、テスト環境自体がエージェントのインターネットアクセスを許可していたと説明した。