미국 버몬트주 상원의원 버니 샌더스는 최근 3대 주요 인공지능 기업의 수장인 Anthropic CEO 다리오 아모데이, OpenAI CEO 샘 올트먼, Meta 창업자 마크 저커버그에게 서한을 보내 이 기업의 지도자들에게 “인간이 통제할 수 없는 기계의 제작을 중단하라”고 요구했다.
샌더스는 서한에서 올해 7월 발생한 사건을 언급했다. 당시 한 AI 에이전트가 OpenAI의 샌드박스 환경을 탈출해 Hugging Face 플랫폼에 침입했다. 당시 OpenAI는 이를 “전례 없는 사이버 보안 사건”이라고 밝혔다.
샌더스는 이 CEO들에게 “인공지능 개발을 중단하라”고 요구했다. 그는 기업 책임자들이 “적절한 조치를 취하지” 않을 경우 미국 상원이 개입할 것이라고 밝혔다.
현재 샌더스가 제안한 전면적인 개발 중단 요구를 받아들인 AI 기업은 없지만, 이들 기업은 실제로 일부 완화 조치를 취하고 있다. OpenAI는 현지 시간 지난 금요일 일부 Astra 모델의 개발 작업을 중단했다고 밝혔다. Anthropic의 고위 경영진 2명도 올해 6월 전 세계적인 AI 개발 중단 가능성을 논의한 바 있다.
그러나 다른 측면에서는 AI 연구소의 개발 속도가 오히려 빨라지고 있다. Anthropic은 올해 2월 샌더스의 서한에 언급된 안전 약속 중 하나를 철회했다.
샌더스는 오랫동안 AI 기업을 비판해 왔다. 올해 12월 이 상원의원은 인공지능 데이터센터 건설에 대한 전국적인 중단 정책을 추진하기 시작했다. 이 제안은 상원의 지지를 얻지 못했지만, 미국 뉴욕주는 이미 유사한 정책을 시행했다.
샌더스의 서한 전문:
올트먼 씨, 아모데이 씨, 저커버그 씨께:
거의 매일 우리는 여러분이 개발 중인 인공지능 기술이 통제를 잃고 있으며 재앙적인 결과를 초래할 수 있다는 새로운 보도를 접하고 있습니다.
이번 주 우리는 인공지능이 새로운 바이러스를 만드는 데 처음으로 사용됐다는 충격적인 사실을 알게 됐습니다. 여러분도 아시다시피 이러한 기술이 잘못된 사람들의 손에 들어가면 새로운 생물학 무기를 만드는 데 사용되어 수천만 명의 사망을 초래할 수 있습니다.
지난달 전 세계는 OpenAI가 한 AI 모델에 대한 통제력을 잃었다는 사실을 알게 됐습니다. 그 결과는 무엇이었습니까? 해당 모델은 다른 기업의 컴퓨터 시스템에 침입했으며, 이는 명백히 연방법을 위반한 것입니다. 내부 검토를 마친 뒤 Anthropic과 Meta도 자사 모델에서 이와 유사하게 통제를 벗어난 사례가 있었다고 보고했습니다.
공격을 받은 한 기업은 이번 AI 침입을 “전례 없는 사건”이라며 “전례 없는 대응 조치”가 필요하다고 밝혔습니다. 전 세계에서 가장 많이 인용되는 현존 과학자 중 한 명인 조슈아 벤지오는 이러한 사건이 “경종이 되어야 한다”고 말했습니다.
저는 이 견해에 동의합니다.
여러분이 이끄는 기업의 최고 과학자들도 같은 견해를 갖고 있습니다. 그들은 바로 이 기술을 개발한 사람들입니다. 여러분도 아시다시피 이 기술 분야의 지도자들은 최근 국제사회에 재앙을 피하기 위한 안전장치, 즉 “일시정지 버튼”을 마련할 것을 촉구했습니다. 그들은 “능력의 발전 속도가 관련 시스템을 이해하거나 통제할 수 있는 우리의 능력을 빠르게 앞지를 실제 위험이 있다”고 경고했습니다.
그러나 우리는 이미 인간이 AI에 대한 통제력을 잃고 잠재적으로 위험한 바이러스가 만들어지는 상황을 목격하고 있는데도, 여러분의 기업은 수백억 달러를 투입하며 누구도 완전히 이해하거나 예측하거나 통제할 수 없는 기술을 앞다퉈 개발하고 있습니다.
이는 터무니없고 무책임하며 극도로 위험합니다. 또한 여러분이 과거에 직접 한 약속에도 어긋납니다.
2023년 Anthropic은 “능력의 확장이 우리가 … 안전 절차를 준수할 수 있는 능력을 초과할 경우 규모 확대를 중단하고 새로운 모델의 배포를 연기하겠다”고 약속했습니다.
2025년 Meta는 “최첨단 AI가 중대한 위험 임계값에 도달한 것으로 평가되고 이를 효과적으로 완화할 수 없다면 개발을 중단하겠다”고 밝혔습니다.
같은 해 OpenAI는 AI 능력이 “중대한” 임계값에 도달할 경우 강력한 안전 조치가 마련될 때까지 “추가 개발을 중단하겠다”고 밝혔습니다.
그 순간이 왔습니다. AI 능력은 중대한 임계값에 도달했습니다. 미국 중앙정보국 책임자가 AI 모델을 “디지털 핵무기와 유사하며”, 심지어 “거의 종말 장치와 같다”고 말한 데에는 이유가 있습니다.
올트먼 씨, 아모데이 씨, 저커버그 씨: 인류를 위해 여러분이 과거에 한 약속을 지키십시오. 인공지능 개발을 중단하십시오. 지금 행동한다면 아직 늦지 않았으며, 재앙을 피할 수 있습니다. 인간이 통제할 수 없는 기계의 제작을 중단하십시오.
분명히 말씀드립니다. 여러분이 지금 적절한 조치를 취하지 않는다면 저와 미국 상원의 동료들은 행동에 나설 것입니다.
경의를 표하며
버나드 샌더스
미국 상원의원