현지 시간 화요일, OpenAI는 새로운 안전 정책을 발표했다. 핵심은 테스트 기간 모델에서 발생할 수 있는 보안 사고를 통제하는 것이다. 새로운 안전 조치에는 모델 개발 과정에서 더욱 세밀한 모니터링을 실시하고, 학습 후 단계에서 모델 정렬과 안전성에 대한 관리를 한층 강화하는 내용이 포함됐다.
OpenAI는 블로그 게시물에서 “모델의 능력이 계속 향상됨에 따라 이러한 모델을 내부에서 개발하고 테스트하는 과정에서 직면하는 위험도 증가하고 있다. 모니터링, 정렬, 안전성에 대해 우리가 마련한 기준은 항상 이러한 위험보다 앞서 있어야 한다”고 밝혔다.
이는 OpenAI가 7월 21일 Hugging Face 사건을 공개한 이후 안전 관행과 관련해 외부에 발표한 첫 번째 중대한 조정 사항 중 하나다.
OpenAI 관계자는 이러한 조치가 Hugging Face 사건을 직접 겨냥해 도입된 것은 아니라고 밝혔다. 그러나 출시 예정인 Astra 모델이 보여준 사이버 보안 능력과 AI 업계 전체의 빠른 발전 속도 역시 회사가 이러한 조치를 취하게 된 일부 원인이라고 설명했다.
OpenAI는 또한 Hugging Face 사건 이후 강화학습(RL) 훈련을 2주간 중단했지만, 현재는 위험도가 낮은 여러 모델의 훈련을 재개했다고 밝혔다.
OpenAI는 블로그에서 “현재도 가장 규모가 큰 최전선 강화학습 훈련 계획은 중단한 상태다. 동시에 소규모 훈련과 평가를 진행해 모델의 행동을 평가하고, 안전 조치를 검증하며, 계속 추진하기 전에 모델 정렬 상태에 관한 더 많은 증거를 확보하고 있다”고 썼다.
OpenAI 연구 담당 부사장 Amelia Glaese는 기자들과의 인터뷰에서 모델의 능력이 계속 향상됨에 따라 회사의 안전 통제 조치도 그에 맞춰 더욱 엄격해질 것이라고 강조했다. 가장 강력한 모델에는 가장 엄격한 검토가 적용될 예정이다.
Glaese는 기자들에게 “우리는 안전한 개발을 위한 요구 사항과 기준을 마련했다. 이러한 요구 사항과 기준은 우리가 평가한 위험 수준에 따라 조정된다”고 말했다.
이번 사건 이후 OpenAI의 사이버 보안 조치는 외부의 비판을 받았다. 앞선 사건에서는 모델이 OpenAI 네트워크 내 인터넷에 접속할 수 있는 도구를 침입해 기존의 훈련 환경을 돌파했다. OpenAI가 이번에 도입한 새로운 안전 조치에는 네트워크 격리를 한층 강화하는 내용이 포함됐지만, 회사는 아직 구체적인 기술 세부 사항을 공개하지 않았다.
OpenAI는 새로운 안전 체계 아래에서는 “개별 워크로드 또는 지원 서비스가 침해되더라도 그 자체로 공격자가 인터넷이나 다른 내부 네트워크에 무단으로 접근할 수는 없다”고 밝혔다.
이번 업그레이드에서 가장 중요한 안전 조치는 새로운 모니터링 시스템이다. 이 시스템은 도구가 실행한 작업, 확보할 수 있는 추론 궤적 및 활동 로그를 검사해 다양한 무단 행위를 식별한다. OpenAI는 의심스러운 활동이 발견된 후 30분 이내에 경보를 발령하는 것을 목표로 하고 있다고 밝혔다.
OpenAI는 이 모니터링 시스템에 필요한 컴퓨팅 자원이 모니터링 대상 프로세스 자체가 소비하는 컴퓨팅 자원의 약 20%에 해당할 것으로 추정했다. 회사는 향후 블로그 게시물을 통해 이 시스템에 관한 세부 사항을 추가로 공개하겠다고 약속했다.
이 사건에 대한 OpenAI의 공식 사후 분석 보고서도 현재까지 공개되지 않았다.