Anthropic이 현지 시간 8월 14일 발표한 최신 안전 보고서에 따르면, 화학·생물무기와 관련된 위험한 요청을 차단하는 데 사용되는 일부 안전 분류기가 장기간 작동하지 않았던 것으로 나타났다.
이로 인해 2025년 5월부터 2026년 4월까지 외부 계약업체가 제공한 인적 피드백 과정에서 발생한 대량의 요청이 필터링되지 않았다. Anthropic은 현재까지 진행한 내부 조사에서 관련 요청이 실제 악용에 사용됐다는 증거는 발견되지 않았다고 밝혔다.
Anthropic이 공개한 안전 메커니즘 설명에 따르면, 실시간 프롬프트 및 출력 분류기는 사용자의 입력과 모델이 생성한 콘텐츠를 분석하고, 관련 위험이 식별되면 모델이 위험한 행위에 이용될 수 있는 정보를 제공하지 못하도록 차단한다. IT之家가 파악한 바에 따르면, 이 메커니즘은 Anthropic이 화학·생물·방사성 물질 및 핵무기(CBRN) 위험에 대응하기 위해 마련한 다층 안전 조치 중 하나다.
이번에 드러난 문제는 Anthropic의 외부 계약업체와 관련이 있다. 보고서에 따르면 약 5만 명의 계약업체 인력이 해당 기간 동안 모델과 약 1억 3,300만 건의 대화를 나눴으며, 이 트래픽은 약 1년간 관련 생물안전 분류기의 차단을 받지 않았다.
Anthropic은 이들 계약업체의 심사를 주로 외부 공급업체가 담당했으며, 심사 절차에 미흡한 점이 있었다고 밝혔다. 회사는 이후 내부 조사에 착수했으며, 해당 요청이 실제 악용에 사용됐다는 증거는 발견되지 않았다고 설명했다. 이에 따라 Anthropic은 외부 계약업체에 대한 관련 요구사항을 강화했다.
Anthropic은 이전부터 생물안전 방어를 AI 안전 체계에 포함해 왔다. 2025년 5월 Claude Opus 4를 출시하면서 AI 안전 등급 3(ASL-3) 보호 조치를 도입했으며, 여기에는 화학·생물·방사성 물질 및 핵무기의 개발 또는 획득 위험에 대한 배포 제한이 포함됐다.
Anthropic의 현행 책임 있는 확장 정책에 따르면, 실시간 프롬프트 및 출력 분류기는 모델의 입력과 출력을 지속적으로 모니터링하며, 새롭게 발견되는 유해 패턴과 탈옥 방법, 난독화 기술에 맞춰 업데이트된다. 회사는 레드팀 테스트, 버그 바운티 프로그램, 오프라인 모니터링 등의 메커니즘도 보완적인 안전 조치로 활용하고 있다.
2026년 7월 Anthropic은 Claude Fable 5 관련 안전 조치를 공개하면서 생물학 및 화학 분야의 위험을 다시 강조했다. 회사는 Fable 5의 기반 능력이 일정 수준에 도달하면 악의적인 행위자에게 추가적인 도움을 제공할 수 있으므로, 분류기를 사용해 관련 요청을 제한해야 한다고 밝혔다.
Anthropic은 지나치게 엄격한 안전 분류기가 정상적인 연구 활동까지 잘못 차단할 수 있다는 점도 인정했다. 현재 Fable 5와 관련해 생물학 및 화학 분야의 대량 요청은 Claude Opus 4.8로 전달돼 처리되며, 회사는 안전 메커니즘이 개선됨에 따라 제한 범위를 점진적으로 축소할 계획이다.
현재 Anthropic은 조사 결과를 바탕으로 외부 계약업체에 대한 심사 및 관리 요건을 강화했다고 밝혔다. 회사가 공개한 책임 있는 확장 정책에서도 화학·생물무기 등 고위험 분야를 겨냥한 안전 방어 기준을 지속적으로 조정하고 있음이 확인된다.