OpenAI کے شریک بانی آندرے کارپاتھی (Andrej Karpathy) نے 2 اگست کو X پلیٹ فارم پر ایک پوسٹ میں AI بینچ مارک ٹیسٹ کا خیال پیش کیا: ماڈل کو 《لارڈ آف دی رنگز》 کے ابتدائی پیراگراف کا متن فراہم کیا جائے، پھر اس سے متعلقہ 3D دنیا تخلیق کرنے کو کہا جائے۔
AI ماڈلز کی جانچ کے لیے صنعت میں پہلے عموماً ”سائیکل چلاتے ہوئے پیلیکن“ کی SVG تصویر تیار کرنے کا طریقہ استعمال کیا جاتا تھا، جس کے ذریعے بڑے زبان ماڈلز کی خلائی استدلال، جیومیٹری کی منطق اور پیچیدہ کوڈ تیار کرنے کی حقیقی صلاحیت کا اندازہ لگایا جاتا تھا۔
تاہم کارپاتھی نے نشاندہی کی کہ موجودہ ماڈلز کی صلاحیتیں مسلسل بہتر ہو رہی ہیں اور ایسے آسان کام اب ان کے لیے مشکل نہیں رہے، اس لیے انہوں نے AI بینچ مارک ٹیسٹ کا نیا طریقہ پیش کیا: ماڈل کو ادبی متن کی بنیاد پر قابلِ تعامل 3D مناظر تخلیق کرنے دیے جائیں، تاکہ کوڈ تیار کرنے، منظرنامہ ڈیزائن کرنے اور ملٹی میڈیا تیار کرنے میں اس کی مجموعی کارکردگی کا جائزہ لیا جا سکے۔
Karpathy نے Claude Opus 5 سے کہا کہ وہ three.js استعمال کرتے ہوئے ایک 3D دنیا تخلیق کرے، جس کے لیے 《لارڈ آف دی رنگز》 کا ابتدائی پیراگراف بطور ان پٹ دیا گیا۔ ٹیسٹ کے لیے زیادہ سے زیادہ وسائل کی حد 10 لاکھ ٹوکنز تھی، جس کی لاگت تقریباً 10 امریکی ڈالر رہی۔ اس ترتیب میں Claude Opus 5 نے تقریباً 2 گھنٹے لیے اور تقریباً 5500 سطروں پر مشتمل کوڈ تیار کیا۔
تیار کردہ کام کو 3D اینیمیشن کی صورت میں 《لارڈ آف دی رنگز》 کے آغاز سے متعلق مناظر کے طور پر پیش کیا گیا، جن میں لوگوں کا بلبو کی الوداعی ضیافت میں شرکت کرنا اور خزانوں سے بھری ایک غار شامل ہیں۔ رپورٹ کے مطابق یہ کام انسانوں کی جانب سے کئی گھنٹوں میں تیار کیے گئے مواد کا مقابلہ نہیں کر سکتا، تاہم اس بات کو مدنظر رکھتے ہوئے کہ AI نے اسے تقریباً 2 گھنٹوں میں تیار کیا، اس کی تکمیل کا معیار پھر بھی کافی بلند ہے۔
