E-Bench – Tencent Hunyuan va boshqalar tomonidan ishlab chiqilgan agentlarni baholash mezoni Faoliyat yuritmoqda

E-Bench — Tencent Hunyuan jamoasi, Tsinghua universiteti AIR laboratoriyasi va Janubi-sharqiy universitet tomonidan ishlab chiqilgan ko‘p bosqichli vositalardan foydalanishni baholash mezonidir. «Honor of Kings», QQ Music va Tencent Meeting kabi uchta real mahsulot prototipi asosida to‘liq sintetik virtual muhit yaratilgan. Unda 323 ta holatni o‘zgartirish vazifasi, 41 ta ma’lumotlar bazasi jadvali va 7.6万 dan ortiq ma’lumot yozuvlari mavjud. Axborot bo‘shlig‘i va vositalar bo‘shlig‘iga asoslangan ikki tomonlama nomutanosib dizayn agentlarni yashirin ma’lumotlarni faol izlash va ko‘p bosqichli vosita chaqiruvlarini rejalashtirishga majbur qiladi. Yakunda ma’lumotlar bazasi holatidagi diff deterministik tarzda baholanadi va real mahsulot stsenariylarida hozirgi AI agentlarining imkoniyat chegaralari ochib beriladi.

To‘liq sintetik mahsulot muhitini yaratish: grafik orqali boshqariladigan ma’lumotlar bazasini to‘ldirish texnologiyasi asosida alohida yozuvlarsiz va jadvallararo izchil uchta mahsulot virtual dunyosi yaratiladi.
Ikki bo‘shliqli vazifalarni yaratish: topshiriq beruvchi model to‘liq ma’lumotlar bazasiga kira oladi, baholanayotgan model esa faqat cheklangan biznes vositalari orqali muloqot qiladi. Shu tariqa axborot va vositalar bo‘yicha ikki tomonlama nomutanosiblik yuzaga keladi.
Holatni deterministik baholash: ma’lumotlar bazasidagi operatsiyadan oldingi va keyingi holat diff’i yagona baholash mezoni sifatida ishlatiladi. Faqat to‘liq mos kelgan natija o‘tgan hisoblanadi; qisman ball va hakamlar tafovutiga yo‘l qo‘yilmaydi.
Xarajat va samaradorlikni birgalikda tahlil qilish: har bir vazifa uchun API xarajati qayd etiladi, aniqlik va xarajatning Pareto chegarasi chiziladi hamda modelning narx-samaradorligi baholanadi.
Kod ijrosini kengaytirish: E-Bench-Code versiyasida exec_code vositasi mavjud bo‘lib, rejalashtirish mexanizmi va ma’lumot olish bilan bog‘liq ikki xil murakkablikni alohida baholash mumkin.

Grafik orqali boshqariladigan ma’lumotlar bazasini to‘ldirish: relyatsion sxemadan kelib chiqib, jadvallararo bog‘liqlik grafigi tuziladi. Ildiz jadvallar va quyi jadvallar topologik tartibda to‘ldiriladi. Kuchli LLM cheklangan sintetik generator sifatida ishlaydi va ma’lumotlarni faqat qo‘shish vositasi orqali yozadi. Quyi jadvallar mavjud ma’lumotlar bazasidan nomzod obyektlarni so‘rashi kerak. Yakunda deterministik skript vaqt ketma-ketligi va yig‘indi hisoblari kabi semantik xatolarni tekshiradi va tuzatadi, shu bilan muhitning to‘liqligi hamda ichki izchilligi ta’minlanadi.
Generator va yechuvchi nomutanosibligi: topshiriq beruvchi Agent query_sql va exec_code imtiyozlariga ega bo‘lib, to‘liq ma’lumotlar bazasini ko‘rishi va murakkab hisob-kitoblarni bajarishi mumkin. Baholanayotgan Agent esa faqat biznes darajasidagi vositalardan foydalanadi. Natijada axborot bo‘shlig‘i (global holat yashiriladi) va vositalar bo‘shlig‘i (ichki hisoblash vositalari olib tashlanadi) yuzaga keladi; model muhitni ko‘p bosqichli parallel vosita chaqiruvlari orqali faol o‘rganishga majbur bo‘ladi.
Niyatni qayta yozish va qoidalarni almashtirish: ma’lumotlar bazasidan hosil bo‘lgan aniq qiymatlar ularni keltirib chiqaruvchi qoidalar bilan almashtiriladi. Masalan, qo‘shiq identifikatorlarini bevosita berish o‘rniga «sevimlilar ro‘yxatidagi barcha olib tashlangan qo‘shiqlarni qo‘sh» deyiladi. Shu tariqa vazifani muhit bilan o‘zaro aloqasiz mustaqil bajarib bo‘lmaydi.
O‘zaro tekshiriladigan vazifalarni yaratish: har bir vazifa ma’lumotlarni ko‘rish → maqsadni aniqlash → holatni o‘zgartirish → niyatni umumlashtirishdan iborat mahsulotlashtirilgan sikl orqali yaratiladi. Uchta turli kuchli Agent modeli o‘zaro tekshiruv o‘tkazadi va kamida ikkitasi bir xil natijani qayta ishlab ko‘rsatsa, vazifa qabul qilinadi. Bu vazifaning yechiluvchanligi va belgilash aniqligini ta’minlaydi.

Muhitni tayyorlash: maqolaga ilova qilingan resurslardan E-Bench’ning to‘liq sintetik virtual muhitini oling va «Honor of Kings», QQ Music hamda Tencent Meeting mahsulot domenlarini qamrab oluvchi ma’lumotlar bazasi shablonlari va 323 ta baholash vazifasini yuklang.
Versiyani tanlash: tadqiqot maqsadiga qarab asosiy E-Bench yoki E-Bench-Code versiyasini tanlang.
Modelni ulash: baholanayotgan LLM Agent’ni baholash tizimiga ulang va uni faqat cheklangan domen vositalari (masalan, qo‘shiq qidirish, yig‘ilish yaratish yoki do‘st qo‘shish) orqali muhit bilan bilvosita o‘zaro aloqa qiladigan qilib sozlang. Asosiy ma’lumotlar bazasini bevosita so‘rash taqiqlanadi.
Vazifani sozlash: har bir vazifaning mustaqil ishga tushirish soni va yangi ma’lumotlar bazasi nusxasidan boshlanish shartlarini belgilang. Natijalarni qayta tiklash mumkin bo‘lishi uchun API chaqiruvlari xarajatlarini kuzatishni yoqing.
Baholashni bajarish: avtomatlashtirilgan baholashni ishga tushiring. Agent tabiiy tildagi ko‘rsatmani qabul qilib, ko‘p bosqichli vosita chaqiruvlari orqali virtual muhit bilan o‘zaro aloqa qiladi va holatni o‘zgartiradi. Tizim to‘liq operatsiya yo‘li va sarflangan tokenlarni avtomatik qayd etadi.
Natijalarni tahlil qilish: baholash tugagach, tizim deterministik ma’lumotlar bazasi holati diff’i asosida Pass@1 va Pass³ aniqlik ko‘rsatkichlarini chiqaradi hamda xarajat-samaradorlik bo‘yicha birgalikdagi tahlil hisobotini yaratadi. Bu modelning narx-samaradorligini baholashga yordam beradi.

Real miqyosdagi yetarli chalg‘ituvchi ma’lumotlar: har bir ma’lumotlar bazasi 7.6万+ qator va 60万+ ma’lumot birligi bilan to‘ldiriladi. Maqsadli obyekt ko‘plab o‘xshash yozuvlar orasida joylashadi, shuning uchun model muhitning siyrakligiga tayanib tasodifiy topa olmaydi.
Muhit va vazifalarni ajratib, qayta ishlatish: o‘zaro izchil bitta mahsulot muhiti taxminan yuzlab vazifalarni yaratishni qo‘llab-quvvatlaydi. Chegaraviy xarajat juda past, muhit qatlami boshqariladigan, vazifa qatlami esa kengaytiriladigan bo‘ladi.
Barqaror va qayta tiklanadigan baholash: to‘liq sintetik muhit onlayn xizmatlarning rivojlanishidan ta’sirlanmaydi, deterministik diff baholashi esa semantik hakamlarning subyektiv tafovutini yo‘q qiladi.
Murakkablik darajalari aniq: asosiy versiya ko‘p bosqichli rejalashtirish va ma’lumot to‘plashni tekshiradi, Code versiyasi esa hisoblashga boy vazifalarni kod orqali bajarish qobiliyatini qo‘shimcha ravishda sinaydi.

arXiv texnik maqolasi: https://arxiv.org/pdf/2607.23722

AI agentlari imkoniyatlarini baholash: LLM Agent’lar uchun ko‘p bosqichli vositalardan foydalanish qobiliyatini standartlashtirilgan va miqdoriy baholashni taqdim etadi. Axborot qidirish, holatni o‘zgartirish va obyektlararo rejalashtirish kabi asosiy yo‘nalishlarni qamrab oladi.
Model tanlash va mahsulotlashtirish qarorlari: xarajat-samaradorlik Pareto grafigi orqali korxonalarga aniqlik va API xarajatlari o‘rtasida muvozanat topishga hamda yuqori narx-samaradorlikka ega modellarni aniqlashga yordam beradi.
Agentlar uchun o‘quv ma’lumotlarini sintez qilish: boshqariladigan va kengaytiriladigan o‘quv ma’lumotlari manbai sifatida Agent’larning ko‘p bosqichli vosita chaqiruvlari va ishonchliligini uzluksiz oshirishda foydalaniladi.
Kod bilan kuchaytirilgan Agentlarni tadqiq qilish: E-Bench-Code kod ijrosining turli vazifalar (hisoblashga boy vazifalar va mantiqiy qarorlar) uchun foyda chegaralarini o‘rganishni qo‘llab-quvvatlaydi.
Domenlararo mezonni kengaytirish: metodologiyani ko‘proq mahsulot backendlari va CLI stsenariylariga ko‘chirish mumkin. Bu umumiy agentlarni baholash standartlarini rivojlantirishga yordam beradi.