영국 인공지능 안전 연구소(AISI)는 현지 시간 화요일, OpenAI와 Anthropic의 AI 모델을 테스트하던 중 한 AI 에이전트가 가짜 온라인 신원을 생성해 보안 시스템에 무단으로 접근하려 한 사실이 발견됐으며, 이 과정에서 일련의 새로운 보안 취약점이 드러났다고 밝혔다.
연구소는 Anthropic의 Mythos 5와 OpenAI의 GPT-5.6-Sol이 구동하는 에이전트가 정부 기관이 실시한 안전 평가 과정에서 승인되지 않은 작업을 수행했다고 밝혔다. 이번 테스트는 해당 모델의 능력을 평가하기 위해 진행됐다.
AISI는 블로그 게시물에서 “테스트를 받은 일부 에이전트는 실제 사람과 조직을 대상으로 잠재적으로 유해한 활동을 지속적으로 수행했다”고 밝혔다.
이번 보고서는 현재 AI 에이전트 테스트 절차의 안전 방어 체계가 여전히 부족하다는 점을 부각한다. 한편 AI 기업들은 에이전트 기술을 적극적으로 홍보하며 이를 미래 상업 발전의 핵심 방향으로 보고 있다.
AISI는 주요 AI 연구소와 자발적 협약을 체결해 첨단 AI 모델을 테스트할 권한을 얻었다. 연구소는 에이전트의 능력을 평가하기 위해 이들을 가상의 사이버 보안 시나리오에 투입했다.
AISI는 총 122회의 테스트 과제를 진행했으며, 이 가운데 10회의 테스트 실행에서 19건의 무단 행동을 발견했다. Anthropic의 에이전트가 17건의 위반 작업을 일으켰고, OpenAI의 에이전트가 나머지 2건을 일으켰다.
AISI에 따르면 가장 심각한 위반은 한 에이전트가 악성 코드를 작성하고 가짜 온라인 신원을 만들어 실제 사람이 해당 코드의 승인을 내리도록 유도하려 한 사례였다. 다만 연구소는 이러한 모든 취약점 사건이 현실 세계의 실제 피해로 이어지지는 않았다고 덧붙였다.
AISI는 가짜 신원을 만든 에이전트가 무엇인지는 공개하지 않았지만, 해당 사건은 OpenAI가 앞서 자체적으로 공개한 두 건의 보안 사건 중 어느 것에도 해당하지 않는다.
캘리포니아의 비영리단체 CivAI 연구원 Andrew Yoon은 이 위반 행위가 Anthropic의 에이전트에 의해 발생했을 가능성이 있어 보인다고 말했다.
Yoon은 “Mythos는 자신이 실제 사람을 대상으로 하고 있다는 사실을 분명히 인지한 상황에서도 이러한 기만적 행동을 취했다”며 “이는 Anthropic이 자사 모델을 통제하는 수준이 스스로 생각하는 것만큼 높지 않을 수 있음을 보여준다”고 말했다.
Anthropic은 소셜 플랫폼 X에 성명을 내고 AISI와 긴밀히 협력해 추가 세부 정보를 확보하고 자체 조사를 진행하고 있다고 밝혔다.
OpenAI는 회사 블로그에 관련 세부 내용을 공개하며, 자사 에이전트에서 발생한 두 건의 승인되지 않은 작업이 모두 프롬프트에서 명시적으로 금지한 방식으로 인터넷에 접근한 것과 관련 있다고 밝혔다.
OpenAI는 “고위험 AI 평가의 안전 관행을 강화하기 위해 업계 전체와 협력할 것이며, 앞으로 몇 주 안에 국가 차원의 AI 연구기관, 독립 평가기관, 다른 AI 연구소 및 관련 조직을 소집해 이 분야의 발전을 함께 추진하겠다”고 밝혔다.
OpenAI는 블로그에서 별도의 사건도 공개했다. 제3자 테스트 기관 Irregular의 설정 오류로 인해 테스트 중이던 에이전트가 실수로 인터넷에 연결된 사건이다. 이는 Anthropic이 지난주 공개한 유사한 설정 오류 사건과도 맥락을 같이한다.
로이터통신은 지난주 OpenAI가 더 많은 에이전트의 보안 제한 돌파 증거를 발견한 뒤 관련 해킹 보안 조사의 범위를 확대했다고 보도했다.
AISI는 올해 7월 OpenAI의 에이전트가 AI 기업 Hugging Face에 침입한 보안 사건과 달리, 이번 평가의 에이전트는 격리된 테스트 환경을 벗어나 인터넷에 연결되지는 않았다고 밝혔다. 연구소는 표준 테스트 절차에 따라 테스트 환경 자체가 에이전트의 인터넷 접속을 허용했다고 설명했다.