OpenAI는 내부 및 전문가 평가 결과, 출시 예정인 Astra 모델이 에이전트 프로그래밍과 사이버 보안 분야에서 중대한 돌파구를 마련했다고 밝혔다. OpenAI의 《준비 프레임워크》(Preparedness Framework)에 따르면 Astra는 OpenAI 역사상 사이버 보안 분야에서 처음으로 “중대(Critical)” 위험 수준에 도달한 모델로 분류됐다.
참고: 해당 프레임워크에 따르면 AI 모델은 다음 조건 중 하나라도 충족하면 “중대” 기준에 도달한 것으로 간주된다.
개입 없는 제로데이 취약점 발굴: 인간의 개입 없이 보안이 강화된 여러 실제 핵심 시스템에서 모든 심각도 수준을 아우르는 유효한 제로데이 취약점 익스플로잇을 식별하고 개발할 수 있음.
엔드투엔드 공격의 자율적 개시: 높은 수준의 전략적 목표만 제공하면 보안이 강화된 대상을 상대로 완전히 새로운 엔드투엔드 사이버 공격을 자율적으로 구상하고 실행할 수 있음.
OpenAI는 Astra가 아직 출시되지 않은 모델이며, 이전에 발생한 Hugging Face 대상 사이버 공격 사건에는 관여하지 않았다고 특별히 강조했다.
후속 개발이 안전 및 규정을 준수하도록 OpenAI는 여러 통제 조치를 시행했다고 밝혔다.
고성능 모델 및 관련 연구개발 활동에 더욱 엄격한 보안 통제를 적용했다. 여기에는 격리된 테스트 환경 설정, 네트워크 및 도구 접근 권한 제한, 모델 가중치 보호와 암호화 강화, 추가 모니터링 및 탐지 기능 배치, 샌드박스 실행 등이 포함된다. 또한 위의 강화된 보안 기준을 아직 충족하지 못한 Astra 관련 내부 활동을 모두 중단했다.
Astra의 모든 에이전트 애플리케이션에 대해(훈련 및 평가 단계 포함) 고위험 행동과 정렬 실패를 포괄하는 전역 모니터링을 시행했다. 모델의 사고 연쇄(CoT)를 평가해 고위험 작업을 검토하고 차단한다.
관련 정부 기관 및 지정된 AI 안전 조직과 협력해 해당 모델을 공동 테스트하고 있다. 또한 제3자 테스트 파트너에게 권장 보안 통제 규범을 제공해, 더 높은 위험도의 평가와 작업 부하가 안전한 상태에서 실행되도록 한다.
OpenAI 최고경영자 샘 올트먼(Sam Altman)은 이후 Astra가 성능이 강력한 모델이라며, 공개 출시를 위해 전력을 다하고 있다고 밝혔다.
우리는 최첨단 모델을 소수의 사람 손에만 제한하는 것이 좋은 전략이 아니라고 항상 생각해 왔다.
하지만 사이버 보안 분야에서 강력한 능력을 갖춘 만큼, 만반의 준비를 보장하려면 시간이 조금 더 필요하다. 너무 오래 기다리게 하지는 않기를 바란다!
