Polymarket의 예측에 따르면 Anthropic은 10월 말 IPO를 진행할 가능성이 높다.
일부 투자은행 관계자는 Anthropic이 IPO를 통해 600억 달러(현재 환율 기준 약 4,055.17억 위안)를 넘게 조달할 수 있다고 전망하기도 했다.
이 전망이 현실이 된다면 이는 올해 857억 달러(현재 환율 기준 약 5,792.14억 위안)를 조달한 SpaceX에 이어 세계에서 두 번째로 큰 규모의 IPO가 된다.
조 단위 기업가치, 초대형 IPO, 가파르게 치솟는 매출.
이야기가 절정으로 치닫기 직전, 투자자들은 Anthropic CEO Dario Amodei에게 호소하기 시작했다. 제발! 사람 좀 덜 겁주면 안 되겠냐고! AI가 세상을 멸망시킨다는 얘기는 조금 줄이고, AI로 어떻게 돈을 벌 수 있는지 좀 더 이야기해 달라는 것이다.
일부 투자자들은 Dario의 AI 위험에 대한 경계가 거의 편집증적인 수준에 이르렀다고 본다.
그의 핵심 메모는 늘 손으로 작성해 오프라인에 보관한다. 해커에게 탈취될까 우려해서다.
납치를 걱정해 일부 해외 출장을 거부하기도 한다.
투자자들이 수익 극대화 방안을 제시해도 냉담한 태도를 보이며, Anthropic은 안전이라는 사명을 계속 최우선에 둬야 한다고 고집한다.
이대로라면 Anthropic의 IPO가 참패할까 봐 네티즌들마저 걱정하고 있다…
투자자들도 결국 폭발했다. 당신은 대체 세상을 구하러 온 건가, 회사를 경영하러 온 건가?
불과 며칠 전만 해도 Dario는 높은 연봉으로 영입한 신입 직원들이 Anthropic의 사명보다 돈에 더 관심을 가질까 봐 걱정했다.
그런데 이제 투자자들은 그가 사명을 위해 돈 버는 일을 소홀히 할까 봐 걱정하고 있다…
투자자들이 이렇게 반응하는 것도 무리는 아니다. 이 조 단위 AI 기업의 CEO는 하필이면 ‘세계의 종말’을 예고하는 것을 좋아하기 때문이다.
지난 2년 동안 Dario는 AI가 초래할 수 있는 거의 모든 나쁜 결말을 진지하게 경고해 왔다. 그는 AI가 수년 안에 초급 사무직 일자리의 절반을 없애고 실업률을 10%에서 20%까지 끌어올릴 수 있다고 경고했다.
가장 기묘한 상황은 암이 정복되고 경제가 매년 10%씩 성장하며 정부 예산도 균형을 이루지만, 인구 5분의 1이 일자리를 갖지 못하는 것일 수 있다고 했다.
그가 제시한 대응책도 지극히 Dario답다. AI 기업에 세금을 부과해 영향을 받은 노동자에게 임금 보험을 제공하고, 상황이 심각하면 그 돈으로 전 국민 기본소득까지 지원하자는 것이다.
한발 더 나아가 AI가 생물학 무기 제조를 돕거나 대규모 사이버 공격을 일으키고, 점차 기만·계획 수립·자율 행동 능력을 갖게 될 가능성도 우려한다.
지난해 ‘AI가 일을 매우 심각하게 망칠’ 확률을 질문받았을 때는 최고 25%라는 수치를 제시했다.
올해 1월에는 약 2만 자에 달하는 장문의 글 《The Adolescence of Technology》를 또 썼다. 목차만 읽어도 이미 인류 위험 목록처럼 느껴진다. AI 통제 불능, 생물학 무기, 독재 정권, 고용 붕괴, 부의 집중.
6월에는 아예 항공 규제와 유사한 체계를 마련해 강력한 모델을 의무적으로 테스트해야 한다고 주장했다. 어떤 모델이 재난을 일으킬 가능성이 있다면 규제 당국이 출시를 막을 권한을 가져야 한다는 것이다.
여기에는 Anthropic 자체 모델도 포함된다.
다만 Dario의 우려가 완전히 실험적 근거가 없는 것은 아니다. 얼마 전 Anthropic은 14만 건이 넘는 사이버 보안 테스트 기록을 다시 살펴봤고, 실제로 세 건의 사고를 찾아냈다.
Claude 모델 3종은 원래 제3자 테스트 환경에서 ‘플래그 탈취 챌린지’를 수행하고 있었다. 목표는 가상의 시스템에 침투해 그 안에 숨겨진 비밀 정보를 찾는 것이었다. 하지만 설정 오류로 원래 인터넷과 차단돼 있어야 할 테스트 환경이 실수로 실제 인터넷에 연결됐다.
그러나 Claude는 이를 알지 못했다. Claude가 받은 프롬프트에는 인터넷이 없으며 눈앞의 모든 것이 시뮬레이션이라고 명확히 적혀 있었다.
결국 몇몇 모델은 실제 기업을 테스트 도구로 착각하고 허가 없이 세 기관의 운영 시스템에 침입했다. 그중 가장 심각한 사례에서는 Claude Opus 4.7이 실제 기업의 인프라에 침투해 애플리케이션 및 인프라 인증 정보를 확보하고, 수백 줄의 운영 데이터가 포함된 데이터베이스에도 접근했다.
더 황당한 사례는 Claude Mythos 5에서 발생했다.
테스트에서는 가상 환경에서 숨겨진 목표를 찾으라고 요구했다. Claude는 공개 Python 소프트웨어 저장소 PyPI에 같은 이름의 악성 소프트웨어 패키지를 업로드하면 목표 시스템이 이를 자동으로 다운로드해 설치할 수 있다는 사실을 알아냈다.
이를 실행하기 위해 먼저 이메일 주소를 찾고 휴대전화 번호도 찾았다. 무료 번호를 구하지 못하자 여러 경로로 돈을 마련하려고까지 했다.
마지막에는 무료 이메일 서비스를 바꿔 PyPI 계정을 만들고 악성 소프트웨어 패키지를 업로드했다.
이 패키지는 실제 인터넷에서 약 한 시간 동안 살아남았고, 15개의 실제 시스템이 이를 다운로드해 실행했다. 그중 한 보안 기업의 스캐너가 악성 코드를 실행하면서 인증 정보가 유출됐고, Claude는 이후 이 인증 정보를 이용해 해당 기업의 다른 인프라에도 침입했다.
또 다른 내부 연구 모델은 가상의 목표를 찾지 못하자 약 9,000개의 인터넷 대상을 스캔했고, 결국 노출된 디버깅 페이지와 SQL 인젝션을 통해 실제 기업의 애플리케이션을 뚫었다.
이는 거의 ‘AI의 자율적 탈옥’에 가까운 일이다. 자사 CEO가 해 온 종말 경고의 현실판 예고편이나 다름없다.
앞서 OpenAI도 ‘탈옥’에 가까운 사고를 공개한 적이 있다.
사이버 보안 역량 테스트에서 GPT-5.6 Sol과 미공개 모델이 구동하는 AI 에이전트가 테스트 환경의 제로데이 취약점을 찾아 원래 인터넷과 격리돼 있던 샌드박스를 돌파했다.
이어 권한 상승과 수평 이동을 차례로 수행한 뒤 Hugging Face의 운영 시스템에 침입해 데이터베이스에서 테스트 문제의 정답을 직접 훔쳤다.
이렇게 보면… Dario의 횡설수설처럼 들리는 경고를 전부 흘려들을 수만은 없다.
이제 와서 Dario가 횡설수설한다고 불평하기에는 다소 늦었다. Anthropic은 첫날부터 일반적인 의미의 AI 기업이 아니었기 때문이다.
2020년 말 Dario와 여동생 Daniela Amodei, 그리고 여러 연구자들은 OpenAI를 떠났다. 그중 하나의 의견 차이는 OpenAI의 상업화 속도가 너무 빠르고 Microsoft의 영향력이 점점 커지는 데다, 기존 거버넌스 구조로는 최첨단 AI의 위험을 통제하기 어렵다는 판단이었다.
2021년 Anthropic이 정식으로 설립됐다.
Anthropic은 자신을 단순한 상업 기업으로 정의하지 않고 Public Benefit Corporation, 즉 공익 기업으로 등록했다. 주주 수익뿐 아니라 이사회가 AI 안전과 장기적인 공익도 법적으로 고려할 수 있는 구조다.
이후 회사는 일반 투자자와 독립된 거버넌스 체계인 Long-Term Benefit Trust도 설립했다.
신탁 구성원은 Anthropic의 지분을 보유하지 않지만 회사 이사 선출에 참여할 수 있다. 단기적인 상업적 압력이 안전이라는 사명을 완전히 압도하지 못하게 하기 위해서다.
다시 말해 AI 안전은 이 회사가 Day 0부터 뼛속 깊이 새겨 온 신념이다. 투자자들이 분명 수표에 서명한 뒤에야 Dario가 이런 신념을 갖고 있다는 사실을 갑자기 발견한 것은 아닐 것이다.
게다가 지난 몇 년 동안 안전이라는 서사는 Anthropic에 실제로 적지 않은 이점을 가져다줬다.
OpenAI가 거버넌스 논란에 거듭 휘말릴 때 Anthropic은 더 절제되고 안정적으로 보이는 선택지가 됐다.
기업 고객들이 데이터 보안, 모델 통제 불능, 규제 준수 문제를 걱정할 때 Claude의 ‘안전 우등생’ 이미지도 신뢰를 얻는 데 도움이 됐다.
안전은 Anthropic이 규제 논의에서 회사 규모를 훨씬 뛰어넘는 발언권을 얻는 데도 기여했다.
같은 폐쇄형 모델이라도 다른 기업은 독점이라고 비판받을 수 있지만 Anthropic은 위험한 능력의 확산을 막기 위한 것이라고 설명할 수 있다. 모델에 같은 제한을 걸어도 다른 기업은 사용하기 어렵다는 불만을 살 수 있지만 Claude는 이를 책임감 있는 조치로 포장할 수 있다.
(물론 입으로는 안전을 외치면서 한편으로는 IPO 샴페인을 터뜨리는 것도 막지는 못한다.)
이제 와서 투자자들이 Dario가 너무 설교자 같다고 불평하는 건 조금 늦은 것 아닐까. 교회를 하나 사들인 뒤 그 안의 사람들이 늘 설교한다고 불평하는 것과 비슷하다…
어쨌든 CEO가 아무리 횡설수설해도 회사의 IPO 행보를 막지는 못할 것으로 보인다. Fable을 한 번만 사용해 보면 원자폭탄 위에 주저앉아 의자가 폭발하는 모습을 보게 되기 때문이다(doge).
이 글은 위챗 공식 계정 ‘量子位(QbitAI)’에서 가져왔으며, 저자는 听雨, 원제는 《Anthropic CEO 整天神神叨叨，投资人受不了了》다.
광고 고지: 본문에 포함된 외부 연결 링크(하이퍼링크, QR코드, 비밀번호 등 형식 포함)는 더 많은 정보를 전달하고 검색 시간을 줄이기 위한 것이며, 결과는 참고용일 뿐이다. IT之家의 외부 링크가 포함된 기사에는 모두 본 고지가 포함된다.