E-Bench – Msingi wa tathmini ya mawakala kutoka Tencent Hunyuan na wengine Inafanya kazi

E-Bench ni msingi wa tathmini ya matumizi ya zana za hatua nyingi ulioundwa na timu ya Tencent Hunyuan kwa ushirikiano na AIR ya Chuo Kikuu cha Tsinghua pamoja na Chuo Kikuu cha Southeast. Unatumia bidhaa tatu halisi—Honor of Kings, QQ Music na Tencent Meeting—kama mifano ya kuunda mazingira pepe yaliyosanifiwa kikamilifu, yenye kazi 323 za kubadilisha hali, majedwali 41 ya hifadhidata na zaidi ya rekodi 76,000. Muundo wa mapengo mawili yasiyo na uwiano, yaani pengo la taarifa na pengo la zana, huwalazimisha mawakala kukusanya taarifa zilizofichwa kwa hiari na kupanga miito ya zana za hatua nyingi. Hatimaye, tathmini hufanywa kwa kutumia tofauti bainifu ya hali ya hifadhidata, na kufichua mipaka ya uwezo wa mawakala wa sasa wa AI katika matukio halisi ya bidhaa.

Ujenzi wa mazingira ya bidhaa yaliyosanifiwa kikamilifu: Kwa kutumia teknolojia ya kujaza hifadhidata inayoongozwa na grafu, huunda ulimwengu pepe wa bidhaa tatu usio na rekodi zilizotengwa na wenye uthabiti kati ya majedwali.
Uzalishaji wa kazi wenye mapengo mawili: Modeli inayounda kazi ina ufikiaji kamili wa hifadhidata, huku modeli inayojaribiwa ikiingiliana tu kupitia zana za biashara zenye vikwazo, na hivyo kuunda kutolingana kwa taarifa na zana.
Tathmini bainifu ya hali: Tofauti ya hali kabla na baada ya shughuli za hifadhidata hutumiwa kama kigezo pekee cha tathmini; ni ulinganifu kamili pekee unaohesabiwa kuwa umefaulu, hivyo kuondoa alama za sehemu na tofauti za waamuzi.
Uchambuzi wa pamoja wa gharama na utendaji: Gharama ya API ya kila kazi hurekodiwa kwa wakati mmoja, kisha mchoro wa mipaka ya Pareto wa usahihi dhidi ya gharama hutengenezwa ili kutathmini uwiano wa gharama na utendaji wa modeli.
Upanuzi wa utekelezaji wa msimbo: Toleo la E-Bench-Code hufungua zana ya exec_code, na kuruhusu kutenganisha ugumu wa kupanga miito na ule wa kupata taarifa.

Ujazaji wa hifadhidata unaoongozwa na grafu: Kuanzia kwenye schema ya hifadhidata ya uhusiano, hujenga grafu ya utegemezi wa kiwango cha majedwali, kisha hujaza majedwali ya mizizi na majedwali tegemezi kwa mpangilio wa kitopolojia. LLM yenye nguvu hutumiwa kama kiunda data chenye vikwazo, na data huandikwa tu kupitia zana ya kuingiza. Majedwali tegemezi lazima yatafute huluki teule kutoka kwenye hifadhidata ya sasa; baadaye hati bainifu hukagua na kurekebisha makosa ya kisemantiki kama mpangilio wa muda na hesabu zilizojumlishwa, ili kuhakikisha mazingira ni kamili na yenye kujitosheleza.
Kutolingana kati ya kiunda na kisuluhishi: Ajenti anayeunda kazi ana haki za query_sql na exec_code, hivyo anaweza kuona hifadhidata nzima na kufanya hesabu changamano. Ajenti anayej試ibiwa anaweza kutumia tu zana za kiwango cha biashara, na hivyo kuunda pengo la taarifa (hali ya jumla imefichwa) na pengo la zana (zana za ndani za hesabu zimeondolewa). Hii huulazimisha modeli kuchunguza mazingira kwa hiari kupitia miito ya zana ya hatua nyingi na inayofanyika sambamba.
Uandishi upya wa nia na ubadilishaji wa kanuni: Thamani mahususi inayotokana na hifadhidata hubadilishwa na kanuni iliyoiunda; kwa mfano, “ongeza nyimbo zote zilizoondolewa kwenye mkusanyiko” badala ya kutoa moja kwa moja vitambulisho vya nyimbo. Hii huhakikisha kazi haiwezi kukamilishwa bila kuingiliana na mazingira.
Uzalishaji wa kazi kwa uthibitishaji mtambuka: Kila kazi hutengenezwa kupitia mzunguko wa bidhaa wa kuangalia data → kubainisha lengo → kubadilisha hali → kufupisha nia. Huthibitishwa mtambuka na modeli tatu tofauti za mawakala wenye nguvu; kazi hupitishwa tu ikiwa angalau mbili zinarudia matokeo yanayofanana, na hivyo kuhakikisha utatuzi wake na usahihi wa uwekaji lebo.

Maandalizi ya mazingira: Pata mazingira pepe yaliyosanifiwa kikamilifu ya E-Bench kutoka kwenye rasilimali zinazoambatana na karatasi ya utafiti, kisha pakia violezo vya hifadhidata na kazi 323 za tathmini zinazohusu maeneo matatu ya bidhaa: Honor of Kings, QQ Music na Tencent Meeting.
Kuchagua toleo: Chagua E-Bench ya msingi au E-Bench-Code kulingana na lengo la utafiti.
Kuunganisha modeli: Unganisha Ajenti wa LLM anayej試ibiwa kwenye mfumo wa tathmini, ukisanidi kwamba anaweza kuingiliana na mazingira kwa njia isiyo ya moja kwa moja kupitia zana za kikoa zenye vikwazo pekee, kama vile kutafuta nyimbo, kuunda mikutano na kuongeza marafiki; usimruhusu kuuliza moja kwa moja hifadhidata ya msingi.
Kusanidi kazi: Weka idadi ya uendeshaji huru wa kila kazi na sharti la kuanzia kwenye nakala mpya ya hifadhidata kwa kila jaribio, kisha washa ufuatiliaji wa gharama za miito ya API ili kuhakikisha matokeo yanaweza kurudiwa.
Kuendesha tathmini: Anzisha tathmini ya kiotomatiki. Baada ya Ajenti kupokea maagizo ya lugha asilia, huingiliana na mazingira pepe na kubadilisha hali kupitia miito ya zana ya hatua nyingi; mfumo hurekodi kiotomatiki mfuatano kamili wa shughuli na matumizi ya Token.
Kuchanganua matokeo: Baada ya tathmini, mfumo hutoa usahihi wa Pass@1 na Pass³ kwa kutumia tofauti bainifu ya hali ya hifadhidata, pamoja na ripoti ya uchambuzi wa pamoja wa gharama na utendaji, ili kusaidia kutathmini uwiano wa gharama na utendaji wa modeli.

Vurugu za kiwango halisi cha kutosha: Kila hifadhidata hujazwa hadi zaidi ya safu 76,000 na zaidi ya vipengele vya data 600,000. Huluki lengwa huzungukwa na rekodi nyingi zinazofanana, hivyo modeli haiwezi kubahatisha kwa kutegemea mazingira yaliyo na data chache.
Kutenganisha na kutumia tena mazingira na kazi: Mazingira moja ya bidhaa yenye uthabiti yanaweza kusaidia kuzalisha takriban kazi mia kadhaa, huku gharama ya ziada ikiwa ndogo sana; safu ya mazingira inadhibitika na safu ya kazi inaweza kupanuka.
Tathmini thabiti na inayoweza kurudiwa: Mazingira yaliyosanifiwa kikamilifu hayaathiriwi na mabadiliko ya huduma za mtandaoni, huku alama za tofauti bainifu zikiondoa upendeleo wa kimawazo wa waamuzi wa kisemantiki.
Uainishaji wazi wa ugumu: Toleo la msingi hupima upangaji wa hatua nyingi na ukusanyaji wa taarifa, huku toleo la Code likiongeza jaribio la uwezo wa kuhamishia msimbo kazi zinazohitaji hesabu nyingi.

Karatasi ya kiufundi kwenye arXiv：https://arxiv.org/pdf/2607.23722

Tathmini ya uwezo wa mawakala wa AI: Huwapa Mawakala wa LLM tathmini sanifu na inayoweza kupimika ya matumizi ya zana za hatua nyingi, ikijumuisha urejeshaji wa taarifa, mabadiliko ya hali na upangaji kati ya huluki.
Uteuzi wa modeli na maamuzi ya kugeuza kuwa bidhaa: Kupitia mchoro wa Pareto wa gharama dhidi ya utendaji, husaidia biashara kusawazisha usahihi na gharama za API na kutambua modeli zenye uwiano mzuri wa gharama na utendaji.
Usanisi wa data ya mafunzo ya mawakala: Hutumika kama chanzo cha data ya mafunzo kinachodhibitika na kupanuka, kwa ajili ya kuendelea kuboresha uwezo wa Ajenti katika miito ya zana ya hatua nyingi na kutegemeka.
Utafiti wa mawakala walioimarishwa kwa msimbo: E-Bench-Code huwezesha utafiti wa mipaka ya manufaa ya utekelezaji wa msimbo kwa aina tofauti za kazi, kama vile kazi zinazohitaji hesabu nyingi dhidi ya kazi za hoja na uamuzi.
Upanuzi wa msingi katika nyanja mbalimbali: Mbinu hii inaweza kuhamishiwa kwenye mifumo mingi zaidi ya nyuma ya bidhaa na matukio ya CLI, na hivyo kusaidia kuanzisha viwango vya tathmini ya mawakala wa jumla.