AI 모델로 다른 AI 모델을 훈련하는 방식이 차세대 AI 연구소들이 집중적으로 탐구하는 새로운 방향이 되고 있다. 현지 시간 28일, Anthropic 연구원 프로그램의 한 연구원이 이 아이디어가 실제로 구현된 후 어떤 모습으로 나타날 수 있는지를 선보였다.
Anthropic은 최신 논문 《자동화 연구원이 정렬 실패를 안정적으로 완화할 수 있다》를 발표하고, AI 시스템을 활용해 일련의 정렬 벤치마크 테스트에서 모델의 성능을 개선하는 방법을 소개했다. 연구팀은 10가지 구체적인 비정렬 행동을 대상으로 테스트를 설정했으며, 자동화 시스템은 최종적으로 모델의 전반적인 능력을 희생하지 않으면서 10개 지표 모두를 개선했다.
이 시스템은 Anthropic 연구원 프로그램의 구성원인 천웨한(음역)이 이끄는 팀이 개발했으며, 작업 흐름은 전통적인 과학 연구와 유사하다. 자동화 시스템은 먼저 기존 문헌을 검토하고 훈련 방법을 제안한 뒤, 제안에 따라 30분 동안 모델을 훈련하며 여러 차례 시도를 통해 테스트 점수를 점진적으로 높인다. 효과적인 방법은 남기고 효과가 없는 방법은淘汰해 전체 연구 과정을 빠르게 확장할 수 있다.
논문은 종합적으로 볼 때 이러한 결과가 자동화된 정렬 후 훈련이 가까운 시일 내에 실제로 실행 가능한 방법이 될 가능성을 처음으로 입증한다고 밝혔다.
이번 연구는 많은 사람이 AI 발전의 다음 중요한 단계로 보는 재귀적 자기 개선을 향한 한 걸음이기도 하다. AI 모델이 자신의 정렬 훈련 방법을 개선할 수 있다면, 더 광범위한 훈련 과정까지 추가로 개선하는 것 역시 불가능하지 않다. 그 단계에 이르면 인간 AI 연구원은 점차 존재할 필요성을 잃을 수도 있다.
논문은 자동화 정렬 연구원(AAR)과 인간 연구원의 성과도 직접 비교했다. “가장 뛰어난 AAR 방법은 평균 6시간만에 경험 많은 인간 연구원이 제안한 방법을 능가할 수 있었다. 인간이 이끈 연구 방향이 더 뛰어난 성과로 이어지지는 않았다.”
비용 차이도 뚜렷하다. “AAR은 시간당 약 4달러(주: 현재 환율로 약 27위안)의 API 추론 비용만 필요로 하지만, 인간 연구원에게 지급한 비용은 시간당 150달러(현재 환율로 약 1,011위안)였다.”
다만 이 방법에는 여전히 뚜렷한 한계가 있다. 자동화 시스템의 성과는 우선 벤치마크 테스트가 실제 정렬 목표를 정확하게 반영할 수 있는지에 달려 있다. 테스트 자체가 신뢰할 만하더라도 이러한 벤치마크를 구축하고 장기간 유지하려면 여전히 상당한 투자가 필요하다. 자동화 연구원이 의존하는 연구 문헌 역시 지속적인 관리와 확충이 필요하다.
참고
Automated researchers can reliably mitigate alignment failures