Đồng sáng lập OpenAI Andrej Karpathy đã đăng bài trên nền tảng X ngày 2 tháng 8, đề xuất một ý tưởng kiểm thử chuẩn AI: cung cấp cho mô hình đoạn văn mở đầu Chúa tể những chiếc nhẫn, rồi yêu cầu mô hình tạo thế giới 3D tương ứng.
Khi kiểm tra mô hình AI, giới chuyên môn trước đây thường dùng cách tạo hình SVG “chim bồ nông cưỡi xe đạp” để đánh giá mức độ thực sự của mô hình ngôn ngữ lớn về suy luận không gian, logic hình học và sinh mã phức tạp.
Tuy nhiên, Karpathy chỉ ra rằng năng lực mô hình hiện nay ngày càng tăng, những nhiệm vụ đơn giản như vậy đã không còn là thách thức, vì vậy ông đề xuất ý tưởng kiểm thử chuẩn AI mới: để mô hình xây dựng cảnh 3D có thể tương tác dựa trên văn bản văn học, từ đó quan sát khả năng tổng hợp của mô hình về sinh mã, thiết kế cảnh và sản xuất đa phương tiện.
Karpathy yêu cầu Claude Opus 5 dùng three.js tạo thế giới 3D, nội dung đầu vào là đoạn văn mở đầu Chúa tể những chiếc nhẫn. Hạn mức tài nguyên tối đa của bài kiểm tra là 1 triệu tokens, chi phí khoảng 10 USD. Với cấu hình này, Claude Opus 5 mất khoảng 2 giờ, xuất ra khoảng 5500 dòng mã.
Tác phẩm được tạo ra trình bày các cảnh liên quan phần mở đầu Chúa tể những chiếc nhẫn dưới dạng hoạt hình 3D, trong đó có cảnh mọi người tham dự buổi tiệc chia tay của Bilbo, cũng như hang động đầy châu báu. Báo cáo cho biết tác phẩm này không thể so sánh với nội dung do con người mất nhiều giờ làm ra, nhưng xét việc AI hoàn thành trong khoảng 2 giờ, mức độ hoàn thiện vẫn khá cao.
