리치 서턴(Rich Sutton)은 오늘날 인공지능 열풍을 이끈 핵심 기술의 선구자 중 한 명이다. 그러나 현재 그는 기술 대기업들이 AI의 지속적인 발전을 위해 택한 방향에 심각한 문제가 있다고 보고 있다.
이 캐나다 컴퓨터과학자이자 튜링상 수상자는 현지 시간 화요일 공개된 세쿼이아 캐피털 팟캐스트에서 AI 업계가 합성 훈련 데이터에 점점 더 의존하고 있으며, 이로 인해 업계 전체가 잘못된 방향으로 나아갈 수 있다고 말했다.
대규모 언어 모델의 지속적인 확장에 합성 데이터를 사용하는 것이 도움이 될 수 있느냐는 질문에 서턴은 솔직하게 답했다. “그건 정말 큰 실수입니다. 어쩌면 다음의 중요한 교훈이 될지도 모릅니다.”
합성 데이터란 실제 세계의 원시 데이터에서 수집한 정보가 아니라 알고리즘이나 AI 모델이 인공적으로 생성한 정보를 뜻한다. AI 기업들이 인터넷과 기타 새로운 훈련 데이터 출처를 끊임없이 찾으면서 합성 데이터의 매력도 점점 커지고 있다. 예를 들어 자율주행 훈련에는 컴퓨터가 생성한 자동차 이미지를 사용할 수 있고, AI 사기 탐지 시스템에는 가상의 은행 거래 기록을 사용할 수 있다.
어떤 면에서는 기술 대기업들도 서턴의 견해에 동의하고 있다.
주요 기술 기업들은 더 많은 실제 데이터를 확보하기 위해 수단과 방법을 가리지 않고 있다. OpenAI는 앞서 대규모 독점 데이터 세트를 공개적으로 찾으며, 인터넷에서 쉽게 얻을 수 없는 데이터를 확보해 AI 모델 훈련에 활용하려 했다. 이보다 앞선 이번 주에는 구글이 파산한 Spirit Airlines의 내부 데이터와 소프트웨어를 인수하기 위해 1,000만 달러(주: 현재 환율로 약 6,756.9만 위안)를 지불하기로 합의했다. 이는 AI 훈련에서 독점적인 실제 데이터의 가치가 계속 높아지고 있음을 보여준다.
서턴은 화요일 팟캐스트에서 인공적으로 만든 데이터가 실제 데이터를 충분히 대체할 수 없다고 말했다.
그는 인간의 행동을 예로 들어 설명했다. “다른 사람의 생각에 대한 합성 데이터를 만들어낼 수는 없습니다.”라고 그는 말했다.
서턴은 AI 에이전트가 실제 환경과 상호작용하고 실제로 일어나는 일을 관찰하며, 행동의 결과에서 끊임없이 학습해 얻는 실제 경험 데이터를 사용하는 편을 선호한다.
“합성 데이터만으로는 드론이 현실의 물리적 세계에서 환경과 어떻게 상호작용할지 예측할 수 없습니다.”라고 서턴은 말했다. 그는 로봇 모터에 마찰과 마모 같은 변수가 존재한다는 점도 지적했다. “이 세계는 매우 복잡하며, 세계를 시뮬레이션하는 것은 어느 것이든 전체의 일부만 보여줄 뿐입니다.”
현재 이 철학은 한 스타트업의 발전 방향이 됐다.
지난달 서턴은 자신의 전 제자인 Khurram Javed와 함께 Oak Lab을 공동 설립했다. 이 스타트업은 규모가 방대하고 사전에 정리된 데이터 세트에 주로 의존하는 대신, 자신의 경험에서 지속적으로 학습할 수 있는 AI 에이전트를 개발하고 있다.
현재 Oak Lab은 투자 유치 라운드나 투자자 정보를 공개하지 않았다.