OpenAI共同創業者のアンドレイ・カルパシー（Andrej Karpathy）氏は8月2日、Xに投稿し、AIベンチマークの新たなアイデアを提案した。モデルに『指輪物語』冒頭の一節を与え、それに対応する3D世界を作成させるというものだ。
AIモデルをテストする際、これまでは「自転車に乗るペリカン」の画像をSVGで生成させる方法が業界でよく使われており、大規模言語モデルの空間推論、幾何学的論理、複雑なコード生成における実力を評価していた。
しかしカルパシー氏は、現在はモデルの能力が継続的に向上し、簡単なタスクはすでに問題なくこなせるようになったと指摘。そのため、新たなAIベンチマークとして、文学作品のテキストに基づいてインタラクティブな3Dシーンを構築させ、コード生成、シーン設計、マルチメディア制作における総合的な性能を観察する方法を提案した。
Karpathy氏はClaude Opus 5にthree.jsを使って3D世界を作成させ、入力には『指輪物語』冒頭の一節を使用した。テストで利用できる最大リソースは100万トークンで、費用は約10ドル。今回の設定で、Claude Opus 5は約2時間をかけ、約5500行のコードを出力した。
生成された作品は3Dアニメーションとして『指輪物語』の冒頭に関連する場面を再現しており、ビルボの別れの宴に人々が参加する場面や、財宝で満たされた洞窟などが含まれている。報道によると、この作品は人間が数時間かけて制作したコンテンツには及ばないものの、AIが約2時間で生成したことを考慮すれば、完成度は依然として高い。
