Anthropicが現地時間8月14日に発表した最新の安全性レポートによると、同社が化学兵器や生物兵器に関する危険なリクエストを阻止するために使用していた一部の安全分類器が、長期間にわたり機能していなかった。
これにより、2025年5月から2026年4月までの間、外部請負業者が人手によるフィードバックを提供する際に発生した大量のリクエストが、フィルタリングされないままとなった。Anthropicは、社内調査では現時点で、関連リクエストが実際の悪用に使われた証拠は見つかっていないと説明している。
Anthropicが公開している安全機構の説明によると、同社のリアルタイムプロンプトおよび出力分類器は、ユーザーの入力とモデルが生成した内容を分析し、関連するリスクを検知した場合、危険な行為に利用される可能性のある情報をモデルが提供するのを阻止する。IT之家が知る限り、この機構は、Anthropicが化学・生物・放射性物質・核兵器（CBRN）リスクに対して設けている多層的な安全対策の一つに当たる。
今回明らかになった問題には、Anthropicの外部請負業者が関わっていた。レポートによると、約5万人の請負業者が該当期間中にモデルと約1億3300万件の対話を行ったが、これらのトラフィックは約1年にわたり、関連する生物安全分類器による阻止を受けていなかった。
Anthropicによると、これらの請負業者の審査は主に外部業者が担当しており、その審査プロセスに不備があった。同社はその後、社内調査を開始し、これらのリクエストが実際の悪用に使われた証拠は見つかっていないと説明した。これを受け、Anthropicは外部請負業者に対する関連要件を引き上げた。
Anthropicは以前から、生物安全対策をAI安全体系に組み込んでいる。2025年5月、同社はClaude Opus 4の発表時にAI安全レベル3（ASL-3）の保護措置を導入した。これには、化学・生物・放射性物質・核兵器の開発または取得リスクに対する展開制限が含まれる。
Anthropicの現行の責任ある拡張ポリシーによると、リアルタイムプロンプトおよび出力分類器はモデルの入力と出力を継続的に監視し、新たに発見された有害なパターン、脱獄手法、難読化技術に応じて更新される。同社はレッドチームテスト、バグ報奨金プログラム、オフライン監視などの仕組みも補完的な安全対策として採用している。
2026年7月、AnthropicはClaude Fable 5に関する安全対策を発表した際にも、生物・化学分野のリスクを改めて強調した。同社は、Fable 5の基盤能力が一定水準に達した場合、悪意ある行為者にさらなる支援を提供する可能性があるため、分類器を使って関連リクエストを制限する必要があると説明している。
Anthropicは同時に、安全分類器が厳格すぎると通常の科学研究活動まで誤って阻止する可能性があることも認めている。Fable 5については現在、生物・化学分野に関する大量のリクエストがClaude Opus 4.8に転送されて処理されており、同社は安全機構の改善に伴って制限範囲を段階的に縮小する計画だ。
現在、Anthropicは調査結果に基づき、外部請負業者の審査および管理要件を強化したと説明している。同社が公開している責任ある拡張ポリシーからも、化学兵器や生物兵器などの高リスク分野に対する安全基準を継続的に調整していることが分かる。