Business Insider에 따르면, 인공지능 업계에서 가장 영향력 있는 감독자 중 한 명인 베스 반스(Beth Barnes)는 현재 여러 가지 우려에 직면해 있다.
전 OpenAI 연구원이었던 반스는 연구를 통해 AI 능력이 거의 매달 두 배에 가까운 속도로 빠르게 향상되고 있음을 입증한 바 있다. 그러나 현재 그녀는 업계에 충분한 인재가 부족해 AI가 다음 단계로 발전하는 속도를 따라가지 못할 수 있다고 우려하고 있다.
반스는 2022년 OpenAI를 떠나 비영리단체 METR(Model Evaluation and Threat Research, 모델 평가 및 위협 연구)를 설립했다. 그녀는 현재 AI 안전 연구가 직면한 가장 큰 병목은 자금이 아니라 인재라고 말했다.
METR은 AI 업계에서 중요한 역할을 맡고 있다. OpenAI, Anthropic, Google, Meta 등과 긴밀히 협력하며 최신 AI 모델의 능력을 독립적으로 평가하고, 모델이 초래할 수 있는 위험을 연구해 외부에 비교적 객관적인 분석 결과를 제공한다.
그러나 METR이 현재 채용 중인 직무에 최대 연봉 50만 3,000달러(참고: 현재 환율 기준 약 340만 위안)를 제시하고 있음에도 인재 부족 문제를 해결하기는 여전히 어렵다.
반스는 “이상적으로는 팀을 몇 배 더 크게 확대하고 싶다. 실제로 필요한 자금은 이미 조달할 수 있다. 우리 발전을 진정으로 제한하는 것은 인재 풀”이라고 말했다.
앞서 OpenAI와 Hugging Face가 공개한 한 AI 안전 사건은 AI 능력을 어떻게 평가하고 통제할 것인지에 대한 업계의 논의를 다시 불러일으켰다. 올해 7월에는 최첨단 AI 연구소 직원 1300명 이상이 공동 서명한 공개서한을 통해 AI의 발전 속도가 이미 인간의 통제 능력을 넘어섰을 수 있다고 경고했다. 새로운 모델의 실제 능력을 제때 평가할 연구원이 충분하지 않다면, AI 기업들은 향후 제품 출시 속도를 늦출 수밖에 없을지도 모른다.
해당 사건에서 OpenAI 모델이 보인 성능은 많은 기업을 놀라게 했지만, METR 팀은 크게 의외로 여기지 않았다. 정부 기관과 기업은 물론 종교 단체까지도 AI의 발전 수준을 파악하고 테스트하기 위해 METR에 도움을 요청해 왔다.
그러나 불과 35명으로 구성된 METR 내부에는 여전히 우려가 팽배해 있다.
Business Insider는 OpenAI가 해킹 사건을 공개한 당일, 미국 캘리포니아주 버클리에 있는 METR 사무실을 방문했다. 반스는 현재 AI 안전 연구 분야의 가장 큰 제약은 연구원 수가 턱없이 부족하다는 점이라고 말했다.
그녀는 “해야 할 일이 너무 많지만 우리의 역량으로는 도저히 모두 감당할 수 없다”고 말했다.
그녀가 보기에 진정으로 이성적인 사회라면 AI 투자에서 더 큰 비중을 AI 거버넌스, 안전성 평가, 위험 연구에 투입해야 한다. 특히 AI 모델의 능력이 현재 단계까지 발전한 상황에서는 더욱 그렇다.
‘인류의 예비군’으로 불리는 METR, 규모 확대를 희망
각 AI 연구소가 끊임없이 새로운 모델을 출시함에 따라 METR은 이 모델들이 점점 더 길고 복잡한 작업을 수행할 수 있는 능력을 지속적으로 평가하고 있다.
METR의 가장 잘 알려진 성과 중 하나는 널리 인용되는 추세 그래프다. 이 그래프는 지난 6년 동안 AI가 복잡한 작업을 수행하는 능력이 약 7개월마다 두 배로 증가했음을 보여준다.
METR의 대표 크리스 페인터(Chris Painter)는 팀을 ‘인류의 대비 팀(humanity's preparedness team)’이라고 부르곤 한다. 이는 OpenAI와 Anthropic 내부에서 CEO에게 안전 위험을 보고하는 ‘대비 팀(Preparedness Team)’이라는 명칭을 차용한 표현이기도 하다.
페인터는 “우리가 진정으로 책임지는 대상은 어느 한 기업이 아니라 대중과 대중의 복지”라고 말했다.
반스는 연구 성과가 기업의 상업적 목표에 영향을 받지 않도록 METR의 독립성을 유지하는 것이 매우 중요하다고 강조했다.
그녀는 OpenAI에서 일할 당시부터 AI 기업과 독립된 연구기관이 필요하며, AI의 발전 상황을 자유롭게 평가할 수 있어야 한다는 점을 깨달았다고 말했다.
현재 METR은 최첨단 AI 기업 및 그 직원들로부터 자금 지원을 받지 않지만, 컴퓨팅 자원 지원은 받을 수 있으며 이들 기업과 협력해 아직 공개되지 않은 새 모델을 분석하고 테스트한다.
METR은 모델 능력 평가 외에도 AI 기업의 안전 조치, AI가 소프트웨어 엔지니어의 업무 효율에 미치는 영향, AI로 AI를 감독하는 것의 타당성 등을 연구해 왔다.
반스는 앞으로 AI 능력이 다음 단계에서 어떻게 발전할지, 그리고 이러한 변화가 AI 자체의 발전을 어떻게 더욱 가속할지 예측하는 방법도 추가로 연구하고 싶다고 말했다.
METR 연구원 니브 파리크(Neev Parikh)는 현재 인재 부족으로 인해 팀이 연구할 수 있는 문제의 수가 제한되고 있으며, 특히 AI 내부의 추론 메커니즘 분야에서 그렇다고 말했다.
그는 “이 분야에는 사람이 정말 부족하다. 업계 전체의 인재 규모가 10배로 늘어난다면 매우 기쁠 것”이라고 말했다.
OpenAI 안전 사건으로 METR의 중요성 더욱 부각
올해 7월 OpenAI는 자사의 AI 모델이 테스트 과정에서 Hugging Face 시스템에 침입해 테스트 답안을 얻고 ‘부정행위’를 했다고 공개했다.
이후 OpenAI 최고경영자 샘 올트먼(Sam Altman)은 이번 일이 AI가 초래하는 안전 위험을 이처럼 직접적으로 느낀 것은 처음이라고 말했다.
사실 METR은 이미 이와 유사한 문제를 예견하고 있었다.
올해 5월 METR은 현재 AI 에이전트가 “승인되지 않은 배포를 자율적으로 시작할 가능성이 충분히 있다”고 지적하는 보고서를 발표했다. 다만 당시에는 자신의 행동을 숨길 능력이 부족했다.
이후 6월 METR은 당시 아직 공개되지 않았던 GPT-5.6 Sol 모델을 테스트했고, 해당 모델이 복잡한 테스트에서 숨겨진 소스 코드를 추출해 정답을 찾는 등 반복적으로 부정행위를 저지른다는 사실을 발견했다.
METR은 이후 연구 결과를 보고서로 정리해 GPT-5.6 Sol의 정식 출시 전에 OpenAI에 제출했다.
7월이 되자 GPT-5.6 Sol은 실제로 OpenAI와 Hugging Face의 안전 사건에 휘말렸다.
OpenAI는 이후 METR 및 또 다른 비영리기관 Redwood Research를 초청해 이번 사건을 공동 조사하겠다고 발표했다. 양측의 연구 결과는 OpenAI 공식 기술 보고서의 중요한 참고 자료가 될 예정이다.
페인터는 “이제 이러한 문제는 기업 운영에 실질적인 영향을 미치고 있다. 사회 전체가 실제로 무슨 일이 일어났는지 파악할 필요가 있다”고 말했다.
OpenAI와 Anthropic의 최신 AI 모델이 보여준 네트워크 공격 능력은 미국 사회에서도 광범위한 관심을 불러일으켰으며, 워싱턴에서 여러 새로운 AI 규제 법안이 추진되는 계기가 됐다.
그중 논의 중인 한 법안은 대형 AI 모델 개발 기업이 반드시 제3자 기관의 안전 감사를 받아야 한다고 요구한다.
METR은 향후 이와 같은 역할을 맡을 가능성이 있다.
페인터는 향후 명확한 규제 체계가 마련되면 더 많은 AI 기업 직원이 METR에 합류하려 할 수도 있다고 말했다. 급여는 기업과 비슷하지만 주식 인센티브는 없다는 설명이다.
그는 “최종적으로 업계가 통일된 규범을 마련하든 정부가 명확한 규제를 도입하든, 이 분야는 매우 빠르게 규모를 확대할 수 있다고 생각한다”고 말했다.
METR의 올해 5월 AI 위험 보고서 작성을 담당한 연구원 아제야 코트라(Ajeya Cotra)는 현재 AI 규제가 여전히 “혼란스럽고 예측하기 어렵다”고 말했다.
그러나 그녀는 여전히 낙관적인 태도를 유지했다. 그녀는 “점점 더 많은 사람이 이 문제를 중요하게 여기기 시작했고, 앞으로 AI를 더욱 진지하고 성숙한 방식으로 규제하기를 바라는 목소리도 커지고 있다”고 말했다.