現地時間の火曜日、OpenAIは新たな安全ポリシーを発表した。中心となるのは、テスト期間中にモデルで発生する可能性のある安全上のインシデントの管理だ。新たな安全対策には、モデル開発中のより詳細な監視に加え、訓練後の段階でモデルのアライメントと安全性をさらに重視することが含まれる。
OpenAIはブログ記事で、「モデルの能力が向上し続けるにつれ、社内でこれらのモデルを開発・テストする際に直面するリスクも増大している。監視、アライメント、安全性に関して定めた基準は、常にこうしたリスクを先行していなければならない」と述べた。
これは、OpenAIが 7 月 21 日にHugging Faceのインシデントを公表して以来、安全対策について外部に公表した初めての大きな変更の一つとなる。
OpenAIの代表者は、今回の措置はHugging Faceのインシデントを直接の対象として導入されたものではないと説明した。ただし、近くリリースされるAstraモデルが示すサイバーセキュリティ能力や、AI業界全体の急速な発展も、同社がこれらの措置を講じる一因になったという。
OpenAIはまた、Hugging Faceのインシデント発生後、強化学習（RL）の訓練を 2 週間停止していたが、現在はリスクの低い複数のモデルの訓練を再開したことを明らかにした。
OpenAIはブログで、「現在も最大規模の最先端強化学習訓練計画は停止している。一方で、小規模な訓練と評価を実施し、モデルの挙動を評価し、安全対策を検証するとともに、先に進む前にモデルのアライメントに関するさらなる証拠を得ようとしている」と記した。
OpenAIの研究担当副社長Amelia Glaese氏は記者会見で、モデルの能力が向上し続けるにつれて、同社の安全管理措置もより厳格になり、最も高性能なモデルには最も厳しい審査が行われると強調した。
Glaese氏は記者に対し、「安全な開発に関する要件と基準を定めている。これらの要件と基準は、評価したリスクの水準に応じて調整される」と述べた。
今回のインシデントを受け、OpenAIのサイバーセキュリティ対策は外部から批判を受けた。以前のインシデントでは、モデルがOpenAIのネットワーク内にあるインターネット接続可能なツールに侵入することで、当初の訓練環境を突破した。OpenAIが今回導入した新たな安全対策にはネットワーク分離のさらなる強化が含まれるが、同社は現時点で具体的な技術詳細を公表していない。
OpenAIは、新たな安全体制の下では、「単一のワークロードまたはサポートサービスが侵害されても、それだけで攻撃者がインターネットやその他の内部ネットワークに不正アクセスできることにはならない」と説明した。
今回の強化で最も重要な安全対策は、新たな監視システムだ。このシステムは、ツールが実行した操作、取得可能な推論トレース、活動ログを調査し、さまざまな不正行為を特定する。OpenAIは、疑わしい活動を検知してから 30 分以内に警告を発することを目標としている。
OpenAIは、この監視システムに必要な計算資源は、監視対象のプロセス自体が消費する計算資源のおよそ 20% に相当すると見積もっている。同社は、今後公開するブログ記事で、このシステムに関する詳細をさらに明らかにすると約束した。
なお、今回のインシデントに関するOpenAIの公式な事後分析報告書は、現時点でも公開されていない。