E-Bench – معيار لتقييم الوكلاء الذكيين طوّراتو Tencent Hunyuan وآخرين خدام

E-Bench هو معيار لتقييم استعمال الأدوات على مراحل متعددة، طوّراتو فرقة Tencent Hunyuan بشراكة مع AIR ديال جامعة تسينغهوا وجامعة الجنوب الشرقي. كيعتمد على ثلاثة منتجات حقيقية كنماذج أولية: Honor of Kings وQQ Music وTencent Meeting، وكيبني بيئة افتراضية مُركّبة بالكامل، فيها 323 مهمة ديال تغيير الحالة، و41 جدول فقاعدة البيانات، وأكثر من 7.6万 سجل بيانات. من خلال تصميم غير متناظر بجوج فجوات، فجوة المعلومات وفجوة الأدوات، كيخلّي الوكيل يجمع المعلومات المخفية بوحدو وينسّق استدعاءات متعددة للأدوات، ومن بعد كيتستعمل الفرق الحتمي بين حالات قاعدة البيانات فالتقييم، باش يبيّن الحدود الحالية لقدرات وكلاء الذكاء الاصطناعي فسيناريوهات المنتجات الحقيقية.

بناء بيئة منتجات مُركّبة بالكامل: باستعمال تقنية تعمير قواعد البيانات الموجّهة بالغراف، كيتولّد عوالم افتراضية متماسكة للمنتجات الثلاثة، بلا سجلات معزولة ومع اتساق بين الجداول.
توليد المهام بجوج الفجوات: نموذج وضع الأسئلة عندو صلاحية كاملة للوصول لقاعدة البيانات، بينما النموذج اللي كيتقيّم ما كيقدرش يتفاعل إلا عبر أدوات محدودة ديال الخدمات، وهادشي كيدير عدم تناظر مزدوج فالمعلومات والأدوات.
تقييم حتمي للحالة: الفرق بين حالة قاعدة البيانات قبل العمليات ومن بعدها هو المعيار الوحيد، وما كيتحسب النجاح حتى كتكون المطابقة دقيقة، بلا التنقيط الجزئي ولا اختلافات المحكّمين.
تحليل مشترك للتكلفة والأداء: كيتسجّل فآن واحد مصروف API ديال كل مهمة، وكيتترسم جبهة باريتو بين الدقة والتكلفة، باش يتقيّم النموذج من ناحية القيمة مقابل الثمن.
توسيع بتنفيذ الكود: نسخة E-Bench-Code كتفتح أداة exec_code، وكتسمح بفصل صعوبة تنسيق العمليات عن صعوبة الحصول على المعلومات.

تعمير قاعدة البيانات الموجّه بالغراف: انطلاقاً من schema علائقي، كيتبنى غراف ديال الاعتماد بين الجداول، وكيتم تعمير الجداول الجذرية والجداول التابعة حسب الترتيب الطوبولوجي. كيتستعمل LLM قوي كمركّب مقيّد، وما كيكتب البيانات إلا عبر أداة الإدراج. الجداول التابعة خاصها تقلب فقاعدة البيانات الحالية على الكيانات المرشحة، ومن بعد كيتستعمل سكريبت حتمي للتحقق والإصلاح ديال الأخطاء الدلالية بحال ترتيب التواريخ والعدّ التجميعي، باش تبقى البيئة كاملة ومتناسقة.
عدم التناظر بين المولّد والحلّال: الـAgent اللي كينشئ الأسئلة عندو امتيازا query_sql وexec_code، وكيقدر يشوف قاعدة البيانات كاملة وينفّذ حسابات معقدة؛ أما الـAgent اللي كيتقيّم فما كيقدرش يستعمل إلا أدوات على مستوى الخدمة، وهادشي كيدير فجوة معلوماتية، بحيث الحالة العامة مخبية، وفجوة فالأدوات، بحيث أدوات الحساب الداخلية محيّدة. وبهذا كيتجبر النموذج يستكشف البيئة بوحدو عبر استدعاءات متوازية ومتعددة للأدوات.
إعادة صياغة النية وتعويض القواعد: القيم المحددة المشتقة من قاعدة البيانات كتتعوّض بالقاعدة اللي ولّداتها؛ مثلاً «دخّل جميع الأغاني اللي تحيدات من النشر فالمفضلة» بلا ما نعطيو مباشرة معرّفات الأغاني، باش ما يمكنش إنجاز المهمة بشكل مستقل بلا التفاعل مع البيئة.
توليد المهام بالتحقق المتقاطع: كل مهمة كتتولّد عبر دورة منتجية فيها مشاهدة البيانات، تحديد الهدف، تغيير الحالة، وتلخيص النية. ومن بعد كيتحققو منها ثلاثة نماذج Agent قوية ومختلفة، وما كتتعتمد المهمة حتى يعاودو جوج منهم نفس النتيجة على الأقل، باش يتضمنو قابلية الحل ودقة الوسم.

تحضير البيئة: جيب الموارد المرافقة للبحث باش تحصل على البيئة الافتراضية المُركّبة بالكامل ديال E-Bench، وحمّل قوالب قواعد البيانات و323 مهمة تقييم اللي كيغطيّو مجالات Honor of Kings وQQ Music وTencent Meeting.
اختيار النسخة: على حساب الهدف ديال البحث، اختار النسخة الأساسية E-Bench ولا E-Bench-Code.
ربط النموذج: دخل LLM Agent المراد تقييمو فإطار التقييم، وخلّيه يتفاعل مع البيئة غير بشكل غير مباشر عبر أدوات محدودة ومجالية، بحال البحث على الأغاني، إنشاء الاجتماعات، وإضافة الأصدقاء، مع منع الاستعلام المباشر لقاعدة البيانات التحتية.
إعداد المهام: حدّد عدد مرات التشغيل المستقلة لكل مهمة، وشروط البداية بنسخة جديدة من قاعدة البيانات، وفعّل تتبع تكلفة استدعاءات API باش تكون النتائج قابلة لإعادة الإنتاج.
تنفيذ التقييم: بدا التقييم الآلي؛ منين كيتوصل الـAgent بتعليمات باللغة الطبيعية، كيتفاعل مع البيئة الافتراضية وكيغيّر الحالة عبر استدعاءات متعددة للأدوات، والنظام كيسجّل أوتوماتيكياً المسار الكامل للعمليات واستهلاك الـToken.
تحليل النتائج: من بعد ما يسالي التقييم، كيخرج النظام دقة Pass@1 وPass³ اعتماداً على الفرق الحتمي بين حالات قاعدة البيانات، وكيولّد تقرير مشترك للتكلفة والأداء، باش يعاون فمعرفة القيمة اللي كيقدمها النموذج مقابل التكلفة.

تشويش بواقعية وحجم كافيين: كل قاعدة بيانات كتتعمر بأكثر من 7.6万 سطر وأكثر من 60万 وحدة بيانات، والكيانات المستهدفة كتحاط بعدد كبير من السجلات المتشابهة، وبالتالي النموذج ما يقدرش يجاوب بالصدفة بسبب ندرة البيئة.
فصل البيئة عن المهام وإعادة الاستعمال: بيئة منتجات واحدة ومتماسكة تقدر تدعم توليد حوالي مئات المهام، بتكلفة هامشية ضعيفة بزاف؛ طبقة البيئة قابلة للتحكم وطبقة المهام قابلة للتوسيع.
تقييم مستقر وقابل لإعادة الإنتاج: البيئة المركّبة بالكامل ما كتتأثرش بتطور الخدمات على الإنترنت، والتنقيط بالفرق الحتمي كيحيد التحيز الذاتي ديال المحكّمين الدلاليين.
تقسيم واضح للصعوبة: النسخة الأساسية كتختبر تنسيق العمليات على مراحل متعددة وجمع المعلومات، ونسخة Code كتزيد كتختبر قدرة تفريغ المهام المكثفة حسابياً على الكود.

البحث التقني على arXiv: https://arxiv.org/pdf/2607.23722

تقييم قدرات وكلاء الذكاء الاصطناعي: كيوفر لـLLM Agent تقييماً موحّداً وقابلاً للقياس لقدرة استعمال الأدوات على مراحل متعددة، وكيغطي أبعاد أساسية بحال استرجاع المعلومات، تغيير الحالة، وتنسيق العمليات بين كيانات مختلفة.
اختيار النماذج وقرارات تحويلها لمنتجات: عبر مخطط باريتو ديال التكلفة والأداء، كيساعد الشركات توازن بين الدقة ومصاريف API، وتتعرف على النماذج اللي كتقدم قيمة مزيانة مقابل التكلفة.
تركيب بيانات تدريب الوكلاء: كيخدم كمصدر قابل للتحكم والتوسيع لبيانات التدريب، باش يتحسّن باستمرار أداء الـAgent فاستدعاءات الأدوات المتعددة والموثوقية.
البحث فالوكلاء المعززين بالكود: E-Bench-Code كيدعم دراسة حدود الفائدة ديال تنفيذ الكود فأنواع مختلفة من المهام، بحال المهام المكثفة حسابياً مقابل مهام الاستدلال واتخاذ القرار.
توسيع المعيار لمجالات مختلفة: المنهجية تقدر تنتاقل لواجهات خلفية أكثر ديال المنتجات ولسيناريوهات CLI، وكتساهم فبناء معايير عامة لتقييم الوكلاء الذكيين.