E-Bench – Tencent Hunyuan وغیرہ کی جانب سے پیش کیا گیا ایجنٹ بینچ مارک آپریشن میں

E-Bench Tencent Hunyuan ٹیم، Tsinghua University AIR اور Southeast University کے اشتراک سے پیش کیا گیا متعدد مراحل پر مشتمل ٹول کے استعمال کا جائزہ لینے والا بینچ مارک ہے۔ یہ Honor of Kings، QQ Music اور Tencent Meeting تین حقیقی مصنوعات کو نمونے کے طور پر استعمال کرتے ہوئے مکمل طور پر مصنوعی ورچوئل ماحول تیار کرتا ہے، جس میں حالت تبدیل کرنے والے 323 کام، ڈیٹابیس کی 41 ٹیبلز اور 76,000 سے زیادہ ڈیٹا ریکارڈز شامل ہیں۔ معلوماتی خلا اور ٹول کے خلا پر مبنی دوہری غیر متناسب ساخت ایجنٹ کو مخفی معلومات فعال طور پر جمع کرنے اور متعدد ٹول کالز ترتیب دینے پر مجبور کرتی ہے۔ آخر میں ڈیٹابیس کی حالت کے قطعی diff کو معیار بنا کر موجودہ AI ایجنٹس کی حقیقی مصنوعات کے منظرناموں میں صلاحیت کی حدود واضح کی جاتی ہیں۔

مکمل طور پر مصنوعی مصنوعات کے ماحول کی تیاری: گراف سے رہنمائی حاصل کرنے والی ڈیٹابیس بھرنے کی ٹیکنالوجی کے ذریعے تین مصنوعات کی ایسی ورچوئل دنیائیں تیار کی جاتی ہیں جن میں کوئی الگ تھلگ ریکارڈ نہیں ہوتا اور تمام ٹیبلز کے درمیان مطابقت برقرار رہتی ہے۔
دوہرے خلا پر مبنی کاموں کی تیاری: سوال تیار کرنے والے ماڈل کو مکمل ڈیٹابیس تک رسائی حاصل ہوتی ہے، جبکہ جانچے جانے والے ماڈل کو صرف محدود کاروباری ٹولز کے ذریعے تعامل کی اجازت ہوتی ہے، جس سے معلومات اور ٹول دونوں میں غیر مساوی صورت حال پیدا ہوتی ہے۔
حالت کا قطعی جائزہ: ڈیٹابیس آپریشن سے پہلے اور بعد کی حالت کے diff کو واحد معیار بنایا جاتا ہے۔ صرف مکمل مطابقت کی صورت میں کام کامیاب شمار ہوتا ہے، جس سے جزوی اسکور اور جج کے اختلافات ختم ہو جاتے ہیں۔
لاگت اور کارکردگی کا مشترکہ تجزیہ: ہر کام کی API لاگت بیک وقت ریکارڈ کی جاتی ہے، پھر درستگی اور لاگت کا Pareto frontier تیار کر کے ماڈل کی لاگت مؤثریت کا جائزہ لیا جاتا ہے۔
کوڈ پر عمل درآمد کی توسیع: E-Bench-Code ورژن exec_code ٹول فراہم کرتا ہے، جس سے ترتیب دینے کے طریقہ کار اور معلومات حاصل کرنے کی دشواری کو الگ الگ جانچا جا سکتا ہے۔

گراف سے رہنمائی حاصل کرنے والی ڈیٹابیس بھرائی: متعلقہ schema سے ٹیبل کی سطح پر انحصاری گراف تیار کیا جاتا ہے۔ جڑ والی ٹیبلز اور زیریں ٹیبلز کو topological ترتیب سے بھرا جاتا ہے۔ مضبوط LLM کو محدود سنتھیسائزر کے طور پر استعمال کیا جاتا ہے، جو صرف insert ٹول کے ذریعے ڈیٹا لکھتا ہے۔ زیریں ٹیبلز کو موجودہ ڈیٹابیس سے امیدوار entities تلاش کرنا ضروری ہوتا ہے۔ آخر میں قطعی اسکرپٹ کے ذریعے وقت کی ترتیب اور مجموعی گنتی جیسی معنوی غلطیوں کی جانچ اور اصلاح کی جاتی ہے، تاکہ ماحول مکمل اور باہم مربوط رہے۔
جنریٹر اور solver میں غیر متناسب رسائی: سوال تیار کرنے والے Agent کو query_sql اور exec_code کے خصوصی اختیارات حاصل ہوتے ہیں، اس لیے وہ مکمل ڈیٹابیس دیکھ کر پیچیدہ حساب کر سکتا ہے۔ جانچے جانے والے Agent کو صرف کاروباری سطح کے ٹولز استعمال کرنے کی اجازت ہوتی ہے، جس سے معلوماتی خلا (عالمی حالت مخفی) اور ٹول کا خلا (اندرونی حسابی ٹولز کی عدم دستیابی) پیدا ہوتا ہے۔ یوں ماڈل متعدد متوازی ٹول کالز کے ذریعے ماحول کو فعال طور پر دریافت کرنے پر مجبور ہوتا ہے۔
ارادے کی باز تحریر اور قواعد کی تبدیلی: ڈیٹابیس سے اخذ کردہ مخصوص قدر کو اسے پیدا کرنے والے قاعدے سے بدل دیا جاتا ہے، مثلاً براہِ راست گانے کی ID دینے کے بجائے ”میری پسندیدہ فہرست کے تمام ہٹائے گئے گانے شامل کریں“ کہا جاتا ہے، تاکہ کام ماحول سے تعامل کیے بغیر مکمل نہ ہو سکے۔
کراس ویلیڈیشن کے ذریعے کاموں کی تیاری: ہر کام ڈیٹا دیکھنے، ہدف طے کرنے، حالت تبدیل کرنے اور ارادے کا خلاصہ کرنے کے مصنوعات پر مبنی چکر سے تیار کیا جاتا ہے۔ تین مختلف مضبوط Agent ماڈلز اس کی باہمی تصدیق کرتے ہیں، اور کم از کم دو ماڈلز کے یکساں نتیجے کی صورت میں ہی کام قبول کیا جاتا ہے، جس سے کام کے قابل حل ہونے اور لیبلنگ کی درستگی کو یقینی بنایا جاتا ہے۔

ماحول کی تیاری: مقالے کے ساتھ فراہم کردہ وسائل سے E-Bench کا مکمل مصنوعی ورچوئل ماحول حاصل کریں، پھر Honor of Kings، QQ Music اور Tencent Meeting تینوں مصنوعات کے شعبوں کا احاطہ کرنے والے ڈیٹابیس ٹیمپلیٹس اور 323 جائزہ کام لوڈ کریں۔
ورژن کا انتخاب: تحقیقی مقصد کے مطابق بنیادی E-Bench یا E-Bench-Code منتخب کریں۔
ماڈل کا انضمام: جانچے جانے والے LLM Agent کو جائزہ فریم ورک سے منسلک کریں اور اسے صرف محدود شعبہ جاتی ٹولز، مثلاً گانے تلاش کرنا، میٹنگ بنانا اور دوست شامل کرنا، کے ذریعے بالواسطہ ماحول سے تعامل کرنے کی اجازت دیں۔ زیریں ڈیٹابیس سے براہِ راست استفسار ممنوع ہو۔
کام کی ترتیب: ہر کام کے آزادانہ اجرا کی تعداد اور بالکل نئے ڈیٹابیس کلون سے آغاز کی شرط مقرر کریں، اور نتائج کی تکرار پذیری یقینی بنانے کے لیے API کال کی لاگت کا ریکارڈ فعال کریں۔
جائزے کا اجرا: خودکار جائزہ شروع کریں۔ Agent قدرتی زبان کی ہدایت موصول ہونے کے بعد متعدد ٹول کالز کے ذریعے ورچوئل ماحول سے تعامل کرتا اور حالت تبدیل کرتا ہے، جبکہ نظام مکمل آپریشن ٹریس اور Token کے استعمال کو خودکار طور پر ریکارڈ کرتا ہے۔
نتائج کا تجزیہ: جائزہ مکمل ہونے کے بعد نظام قطعی ڈیٹابیس حالت کے diff کی بنیاد پر Pass@1 اور Pass³ درستگی کی شرحیں فراہم کرتا اور لاگت و کارکردگی کی مشترکہ تجزیاتی رپورٹ تیار کرتا ہے، جس سے ماڈل کی لاگت مؤثریت کا جائزہ لینے میں مدد ملتی ہے۔

حقیقی حجم کی بھرپور مداخلت: ہر ڈیٹابیس میں 76,000 سے زیادہ قطاریں اور 600,000 سے زیادہ ڈیٹا یونٹس بھرے جاتے ہیں۔ ہدف entity بڑی تعداد میں مماثل ریکارڈز سے گھری ہوتی ہے، اس لیے ماڈل ماحول کی کم کثافت کی بنیاد پر درست اندازہ نہیں لگا سکتا۔
ماحول اور کام کی علیحدگی و دوبارہ استعمال: ایک خود کفیل مصنوعات کا ماحول تقریباً سینکڑوں کام تیار کرنے کے لیے کافی ہوتا ہے، جس سے اضافی لاگت بہت کم رہتی ہے۔ ماحول کی پرت قابو میں اور کاموں کی پرت قابل توسیع ہوتی ہے۔
مستحکم اور قابل تکرار جائزہ: مکمل طور پر مصنوعی ماحول آن لائن سروس کی تبدیلیوں سے متاثر نہیں ہوتا، جبکہ قطعی diff اسکورنگ معنوی جج کے ذاتی تعصب کو ختم کرتی ہے۔
واضح مشکل کی سطحیں: بنیادی ورژن متعدد مراحل کی ترتیب اور معلومات جمع کرنے کی صلاحیت جانچتا ہے، جبکہ Code ورژن حساب پر مبنی کاموں میں کوڈ کے ذریعے کام منتقل کرنے کی اضافی صلاحیت بھی جانچتا ہے۔

arXiv تکنیکی مقالہ: https://arxiv.org/pdf/2607.23722

AI ایجنٹ کی صلاحیت کا جائزہ: LLM Agent کے لیے متعدد مراحل پر مشتمل ٹول کے استعمال کی معیاری اور قابل پیمائش جانچ فراہم کرتا ہے، جس میں معلومات کی بازیافت، حالت میں تبدیلی اور مختلف entities کی باہمی ترتیب جیسے بنیادی پہلو شامل ہیں۔
ماڈل کے انتخاب اور مصنوعات سے متعلق فیصلے: لاگت اور کارکردگی کے Pareto گراف کے ذریعے اداروں کو درستگی اور API لاگت کے درمیان توازن قائم کرنے اور زیادہ لاگت مؤثر ماڈلز کی شناخت میں مدد دیتا ہے۔
ایجنٹ کی تربیتی ڈیٹا سنتھیسز: قابو میں رہنے والے اور قابل توسیع تربیتی ڈیٹا کے ماخذ کے طور پر استعمال ہوتا ہے، تاکہ متعدد مراحل کی ٹول کالز اور قابل اعتماد کارکردگی میں Agent کی صلاحیت مسلسل بہتر بنائی جا سکے۔
کوڈ سے تقویت یافتہ Agent پر تحقیق: E-Bench-Code مختلف نوعیت کے کاموں، یعنی حساب پر مبنی کاموں بمقابلہ استدلال و فیصلہ سازی، میں کوڈ پر عمل درآمد کے فائدے کی حدود کا مطالعہ ممکن بناتا ہے۔
مختلف شعبوں میں بینچ مارک کی توسیع: یہ طریقہ کار مزید مصنوعات کے بیک اینڈز اور CLI منظرناموں میں منتقل کیا جا سکتا ہے، جس سے عمومی AI ایجنٹ کے جائزے کے معیارات کے قیام کو فروغ ملتا ہے۔