OpenAI 공동 창립자 안드레이 카르파티(Andrej Karpathy)는 8월 2일 X에 게시물을 올려 AI 벤치마크 테스트 아이디어를 제안했다. 모델에 《반지의 제왕》 도입부 첫 문단을 제공한 뒤, 이에 해당하는 3D 세계를 만들도록 하는 방식이다.
AI 모델을 테스트할 때 업계에서는 그동안 ‘자전거를 타는 펠리컨’ 이미지를 SVG로 생성하는 방식을 활용해 대규모 언어 모델의 공간 추론, 기하학적 논리 및 복잡한 코드 생성 능력을 평가하는 경우가 많았다.
그러나 카르파티는 현재 모델의 능력이 지속적으로 향상돼 이처럼 간단한 작업은 더 이상 어렵지 않다고 지적했다. 이에 새로운 AI 벤치마크 테스트 방식으로 문학 텍스트를 바탕으로 상호작용 가능한 3D 장면을 구축하게 해, 코드 생성·장면 설계·멀티미디어 제작 분야의 종합적인 역량을 관찰하자고 제안했다.
카르파티는 Claude Opus 5에 three.js를 사용해 3D 세계를 만들도록 했으며, 입력 내용은 《반지의 제왕》의 첫 문단이었다. 테스트의 최대 리소스 한도는 100만 토큰이며 비용은 약 10달러였다. 이 설정에서 Claude Opus 5는 약 2시간이 걸려 약 5500줄의 코드를 출력했다.
생성된 작품은 3D 애니메이션 형식으로 《반지의 제왕》 도입부와 관련된 장면을 보여준다. 여기에는 사람들이 빌보의 작별 연회에 참석하는 모습과 보물로 가득한 동굴이 포함됐다. 보도에 따르면 이 작품은 사람이 수시간에 걸쳐 제작한 콘텐츠와 비교할 수는 없지만, AI가 약 2시간 만에 완성했다는 점을 고려하면 완성도는 여전히 높은 편이다.
