人工知能企業Anthropicは現地時間30日、同社のClaudeを対象としたサイバーセキュリティ評価の検証において、発生してはならなかった実際のサイバーセキュリティ事件が3件確認されたと発表した。直接の原因は、第三者が評価環境の設定を誤ったことだった。
この3件の事件では、Anthropicのモデルがいずれも無制限の「フラッグ奪取」サイバー攻撃タスクを割り当てられていた。安全性を確保するため、この種のタスクのテスト環境は実際のインターネットから隔離する必要がある。しかし、Anthropicと評価パートナーのIrregularとの間に認識の食い違いがあり、評価対象モデルに実際のインターネットへのアクセス権が開放されてしまった。
1件目の事件では、Claude Opus 4.7が架空の標的と同名の実在企業をタスクの標的と誤認し、そのインフラにアクセスして認証情報とデータベースのデータを抽出した。これは最も深刻な事件で、モデルは実在するシステムだと認識した後も攻撃を続けた。
一方、Claude Mythos 5は2件目の事件で、タスクを完了するために悪意のあるPythonパッケージを実在のPyPIに公開した。この悪意のあるファイルは15台の実在システムにダウンロードされ、認証情報の窃取につながった。モデルは一時的に「もしこれが実際のインターネットなら大変なことになる」と認識したものの、依然としてシミュレーション中だと自分に言い聞かせた。
Anthropic社内の研究用テストモデルは、3件目の事件で比較的良好な対応を見せた。このモデルは約9000件の標的をスキャンし、基本的な手法で実在企業1社に侵入したが、後に実環境だと認識すると、自ら攻撃を停止した。
Anthropicによると、関係したモデルはいずれも正式リリース時に用いられる標準的な安全対策は導入されていなかったが、特定の安全訓練は受けていた。これらの攻撃では基本的な技術しか使われておらず、モデルは複雑な脆弱性を発見・悪用していない。また、自身をテスト環境から持ち出したり、意図的に脱出したりしようともしていなかった。