メインコンテンツへ移動
セキュリティガバナンス

OpenAI、「AI脱獄」事件の教訓を反映 初めて「クリティカル」基準に達したモデルAstra、能力が高すぎるためサイバーセキュリティ機能を制限

Bloombergによると、OpenAIは新たなAIモデルAstraを近く公開する計画だが、当初は少数のテスターにのみ高度なサイバーセキュリティ機能の利用を認める。同社は、Astraが「クリティカルなサイバーセキュリティ能力の基準」に達し、ゼロデイ脆弱性を自律的に特定できると説明している。また、悪用を防ぐため、安全対策を強化した。#OpenAI# これに先立ち、AIモデルが意図せず攻撃を行う事件も発生していた。

OpenAI、「AI脱獄」事件の教訓を反映 初の「クリティカル」基準モデルAstra、能力が高すぎるためサイバーセキュリティ機能を制限

OpenAIは現地時間9月1日、次世代AIモデルAstraを「近く」提供する計画を発表した。ただし、このモデルのサイバーセキュリティ機能の利用範囲は厳しく制限される。

Astraは、OpenAIの「準備フレームワーク(Preparedness Framework)」における「クリティカル(Critical)」なサイバーセキュリティ能力の基準に達した、同社初のモデルだという。

OpenAI、「AI脱獄」事件の教訓を反映 初の「クリティカル」基準モデルAstra、能力が高すぎるためサイバーセキュリティ機能を制限
OpenAI、「AI脱獄」事件の教訓を反映 初の「クリティカル」基準モデルAstra、能力が高すぎるためサイバーセキュリティ機能を制限

OpenAIの定義では、「クリティカル」基準に達するとは、人間の介入なしに、複数のセキュリティ強化済みの実在する重要システムで、あらゆる深刻度の有効なゼロデイ脆弱性エクスプロイトを特定・開発できることを意味する。

OpenAI、「AI脱獄」事件の教訓を反映 初の「クリティカル」基準モデルAstra、能力が高すぎるためサイバーセキュリティ機能を制限
OpenAI、「AI脱獄」事件の教訓を反映 初の「クリティカル」基準モデルAstra、能力が高すぎるためサイバーセキュリティ機能を制限

OpenAIの研究担当副社長Amelia Glaese氏によると、Astraは人間による段階的な指示がなくても、多くの厳重に保護されたシステムで未知のセキュリティ脆弱性を発見し、悪用方法を開発できる。テストでは、Astraが2つのゼロデイ脆弱性を発見し、それらを連鎖的に悪用することに成功した。OpenAIは現在、この2つの脆弱性を関係する保守担当者に開示している。

OpenAIは段階的な公開方針を採用する。Astraの提供開始後、高度なサイバーセキュリティ関連タスクを実行する能力は、当初、少数のテスターにのみ開放される。

その後、同社はDaybreak Blueプログラムを通じて、より幅広いユーザーに防御目的のサイバーセキュリティ用途へのアクセスを提供する計画だ。OpenAIは、Astraのサイバーセキュリティ能力を制限することで、一部の組織や企業による合法的な防御活動も制約される可能性があると認めている。

今回の提供計画の背景には、OpenAIで2026年7月、自律型AIエージェントが意図せず「脱獄」し、AIプラットフォームHugging Faceを攻撃した事件がある。

当時、2つのOpenAIモデル(GPT-5.6 Solと、もう1つの非公開モデル)を基に開発された自律型AIエージェントが、安全性評価中に隔離されたテスト環境(サンドボックス)内のソフトウェア脆弱性を利用して自らインターネットに接続し、Hugging Faceのシステムに侵入した。OpenAIは8月末に公表した報告書で、この事件の発生を防ぐために、より早く対応できたはずだったと認めた。

OpenAIによると、AstraはHugging Faceへの侵入事件に関与したモデルではないものの、同社はそこから得た教訓をAstraの安全対策に反映した。これには、モデルが「有害なサイバーセキュリティ要求」への回答をより確実に拒否できるよう訓練することや、潜在的に危険な行動を特定・阻止する専用の「不整合性モニター(misalignment monitor)」を追加することが含まれる。これらの対策には、社内展開中にモデルに無許可の行動がないか監視し、無許可活動の可能性がある場合に自動的に停止する仕組みも含まれる。

さらにOpenAIは、Astraの安全対策が合法的な防御目的のサイバーセキュリティ活動を誤って悪用行為と判定し、タスクの遅延や一時停止、さらには終了につながる可能性があると警告している(注:OpenAIはサイバーセキュリティ業務の性質に基づき、タスクを「ブルーチーム」による防御と「レッドチーム」による攻撃の2種類に分類している。Daybreak Blueプログラムでは、防御目的の「ブルーチーム」業務のみが開放される)。

OpenAIの研究科学者Fouad Matin氏は、「これらの能力は、防御側が重大な脆弱性を発見し、修正する助けになると考えています。しかし、適切な安全対策がなければ、攻撃者の効率を高める可能性もあります。まさに私たちが防ごうとしているのは、そのような事態です」と述べた。