Tathmini Mawakala wa Udahili wa Uzamili kwa kutumia Kigezo cha Mawakala wa Udahili wa Uzamili

Kile Benchmark ya Mawakala wa Udahili wa Uzamili Inachofanya

Benchmark ya Mawakala wa Udahili wa Uzamili hutathmini usanidi wa mawakala kwa ushauri wa udahili wa uzamili. Usanidi wa wakala huunganisha mfumo wa utekelezaji na modeli ya lugha, na hujaribiwa kuhusu mapendekezo ya maombi, upangaji, ufanyaji maamuzi, na masasisho ya ushauri wakati taarifa mpya za mwanafunzi zinapatikana.

Kwa sasa benchmark hii inajumuisha kazi 70 za lugha ya Kichina, visa 23, na hatua 83 za majibu. Kila kazi ina rubriki za tathmini na programu za marejeo. Seti ya data ya umma inapatikana bila idhini ya kufikia, lakini nyenzo za utoaji alama zinapaswa kubaki hazipatikani kwa mawakala wanaotathminiwa ili kuzuia matokeo kuchafuliwa.

Hifadhi pia huchapisha rekodi za tathmini za usanidi nane. Kila usanidi ulikamilisha kazi 70 za sasa, ingawa mradi unaeleza kuwa uendeshaji ulitumia matoleo tofauti ya ingizo na bajeti, hivyo matokeo ya ubao wa wanaoongoza hayapaswi kuchukuliwa kuwa majaribio yenye usawa kamili.

Elewa Muundo wa Tathmini

Mkusanyiko wa kazi umegawanywa katika kategoria tatu:

• Kazi 21 za mapendekezo: hutathmini jinsi programu zilizopendekezwa zinavyolingana na historia na vikwazo vya mwanafunzi.
• Kazi 36 za upangaji na ufanyaji maamuzi: hutathmini mipango ya maandalizi, tathmini ya hatari, na ushauri unaoweza kutekelezwa.
• Kazi 13 za hatua mbili: hutoa taarifa mpya katika kipindi kilekile na kupima ikiwa wakala anarekebisha ushauri wake wa awali.

Kila kazi ina thamani ya pointi 100. Kazi za mapendekezo hutenga pointi 70 kwa ulinganishaji wa programu za marejeo na pointi 30 kwa ubora wa mapendekezo. Mkaguzi tofauti hutoa alama kwa jibu kamili, huku rubriki zikiendelea kuwa nje ya mchakato wa kujibu.

Kazi za hatua mbili huanza na muktadha wa awali, unaoitwa S₀, kisha hutoa taarifa zilizosasishwa, zinazoitwa S₁. Wakala hutoa jibu la awali, A₀, na jibu lililorekebishwa, A₁, katika kipindi kimoja. Majibu yote mawili hupata alama kwa pamoja. Mfano wa umma O03-04 unaonyesha hali ya Januari hadi Machi ambapo mwanafunzi anabadilisha mwelekeo kuelekea maombi ya moja kwa moja ya PhD.

Andaa Mazingira

Tekeleza amri ukiwa kwenye mzizi wa hifadhi. Utekelezaji wa kiotomatiki wa asili unahitaji macOS Seatbelt na Python 3.10 au toleo jipya zaidi. Usanidi wa usajili wa Kimi unahitaji Python 3.11 au toleo jipya zaidi.

Mfumo huu hutumia maktaba ya kawaida ya Python pekee, hivyo hifadhi haihitaji hatua ya pip install. Hata hivyo, lazima usakinishe mteja rasmi wa usanidi unaotaka kuendesha na uandae kuingia kwa usajili wake au ufunguo wa API.

Wateja wanaopatikana ni pamoja na Codex, Claude Code, Antigravity, DeepSeek Harness, Qwen Code, na Kimi Code. Uthibitishaji hutofautiana kulingana na mteja: baadhi ya usanidi hutumia usajili au OAuth, huku DeepSeek na Qwen zikitumia uthibitishaji wa API kama ilivyoelezwa kwenye nyaraka za mradi.

Chagua Usanidi wa Wakala

Vitambulisho vya mawakala vinatoka kwenye sajili ya sasa ya hifadhi iliyo katika config/agents-cli.example.json. Vitambulisho hivi ni vitambulisho vya usanidi wa benchmark, si hoja za moja kwa moja za modeli.

• gpt-6-astra kwa Codex yenye GPT Astra 6
• gpt-6-1-sol kwa Codex yenye GPT Sol 6.1
• claude-opus-5-5 kwa Claude Code yenye Claude Opus
• claude-sonnet-5-5 kwa Claude Code yenye Claude Sonnet
• antigravity-gemini-3-8-flash-high kwa Antigravity yenye Gemini Flash
• deepseek-v4-1-flash kwa DeepSeek Harness yenye DeepSeek Flash
• qwen3-8-max-0902 kwa Qwen Code yenye Qwen Max
• kimi-k3 kwa Kimi Code yenye Kimi K3

Tekeleza Mtiririko wa Kuanza Haraka

Benchmark hutumia mtiririko uleule kwa kila usanidi. Kwanza weka kitambulisho cha wakala kwenye kigezo cha shell cha AGENT:

AGENT=gpt-6-1-sol

Kisha hifadhi usanidi wa ndani:

python3 -m benchmark setup --agent "$AGENT"

Angalia ikiwa mteja aliyechaguliwa na uthibitishaji viko tayari:

python3 -m benchmark cli-check --agent "$AGENT"

Ukaguzi unaporudisha ready_for_trial, endesha kundi ukitumia uteuzi wa sasa wa kazi:

python3 -m benchmark cli-batch \
  --selection config/selections/current.json \
  --agent "$AGENT" --out "./runs/current-$AGENT"

Kwa chaguo-msingi, utekelezaji wa kundi huonyesha hakikisho la kazi 70 na hatua 83 bila kufanya miito ya modeli. Ongeza --execute unapokuwa tayari kutumia mgao wa akaunti yako:

python3 -m benchmark cli-batch \
  --selection config/selections/current.json \
  --agent "$AGENT" --out "./runs/current-$AGENT" \
  --execute

Anza na kazi moja ya majaribio baada ya cli-check kufanikiwa. Hii husaidia kuthibitisha kuwa mteja, hali ya uthibitishaji, sandbox, na eneo la matokeo vinafanya kazi kabla ya kuanzisha kundi zima.

Tekeleza Usanidi Nyingi

Sanidi na ukague kila mteja kivyake, kisha pitisha chaguo nyingi za --agent kwenye amri ya kundi. Tumia saraka mpya ya matokeo ili matokeo kutoka kwenye usanidi tofauti yasiandikiane.

python3 -m benchmark cli-batch \
  --selection config/selections/current.json \
  --agent gpt-6-1-sol \
  --agent claude-opus-5-5 \
  --out "./runs/comparison" \
  --execute

Weka hali ya uthibitishaji ya kila usanidi iendane na mteja aliyeorodheshwa kwenye sajili. Usanidi unaotegemea usajili unapaswa kutumia kuingia kwa usajili unaoungwa mkono, huku usanidi wa API ukitumia vitambulisho vinavyohitajika vya API.

Kagua Kazi na Matokeo

Faharasa ya kazi inapatikana katika config/selections/current.json. Kwa maswali, vigezo na ufafanuzi wa upimaji, rejelea Maswali na upimaji, mwongozo wa muundo wa data, na kanuni za upimaji.

Matokeo yaliyochapishwa yanapatikana katika miundo kadhaa:

• Muhtasari wa alama kwa matokeo ya jumla.
• Matokeo kwa kila kazi kwa rekodi za kina za kiwango cha kazi.
• Majibu na alama kwa kila usanidi kwa maandishi ya majibu ya umma na taarifa za tathmini.

Vidokezo vya Upimaji na Ukaguzi

Upimaji unaweza kutumia kipindi tofauti cha usajili wa Codex kukagua nyenzo zilizohamishwa. Upimaji wa hiari kupitia API unahitaji usanidi wa ziada. Weka mchakato wa kujibu tofauti na nyenzo za upimaji, kwa sababu kufichua rubriki au programu za marejeo kwa wakala anayepimwa kunaweza kubatilisha ulinganishaji.

Unapolinganisha uendeshaji wako mwenyewe, rekodi kitambulisho cha wakala, toleo la mteja, toleo la ingizo, bajeti ya utekelezaji, saraka ya matokeo, na heshi zozote muhimu za maudhui. Mradi unaonya kuwa uendeshaji wa ubao wa wanaoongoza wa umma hautumii masharti ya utekelezaji yanayofanana kila wakati, kwa hiyo linganisha matokeo pamoja na mbinu na rekodi za uendeshaji.

Kwa majaribio yanayoweza kurudiwa, fuata mwongozo wa urudiaji, unaohusu maingizo yaliyogandishwa, uwasilishaji na uthibitishaji wa alama. Nyaraka za mbinu zinaeleza mipangilio na vikwazo vya tathmini, huku mwongozo wa CLI asilia ukitoa maelezo zaidi kuhusu usakinishaji, uthibitishaji na hatua nyingi.

Hitimisho

Graduate Admissions Agent Benchmark hutoa njia iliyopangwa ya kupima ikiwa mawakala wa udahili hutoa mapendekezo sahihi, ushauri muhimu wa kupanga, na masasisho yanayofaa hali za wanafunzi zinapobadilika. Sanidi mteja unaoungwa mkono, chagua kitambulisho cha wakala kutoka kwenye sajili, hakikishie kwa cli-check, hakiki kundi, kisha utekeleze majaribio au tathmini kamili. Tumia ufafanuzi wa kazi, matokeo na nyaraka za mbinu zilizochapishwa ili kutafsiri alama kwa uwajibikaji na kurudia ulinganishaji.