WebCraftBench Inafanya kazi

WebCraftBench ni kipimo cha tathmini ya uundaji wa kurasa za wavuti kwa AI, kilichozinduliwa kwa pamoja na Tencent Hunyuan, Chuo Kikuu cha Tsinghua na Chuo Kikuu cha Peking. Kwanza WebCraftBench huingiza kiotomatiki vifaa vya ufuatiliaji kwenye programu inayozalishwa, kisha huwezesha wakala kuchunguza vipengele vya ukurasa wa wavuti kwa kuutumia moja kwa moja kupitia Playwright, na hutumia ufunikaji wa msimbo kuongoza utafutaji wa mapungufu. Baadaye, rekodi za mwingiliano hubadilishwa kuwa grafu ya hali, na alama hutolewa kwa kujitegemea katika vipimo vitatu: mvuto wa kuona, urahisi wa matumizi na ulinganifu na mahitaji. Kipimo hiki kina mahitaji halisi 369 na vigezo 5,088 vya ukaguzi vilivyothibitishwa na binadamu, kikifunika programu 6,273 za miundo 17 ya kisasa, huku uwiano wake na mapendeleo ya binadamu ukifikia 85.3%.

Seti ya tathmini ya mahitaji halisi: Ina mahitaji 369 ya watumiaji yaliyotokana na trafiki halisi ya matumizi, yakiambatana na vigezo 5,088 vya ukaguzi vilivyothibitishwa na binadamu, vinavyofunika mahitaji ya utendaji, maudhui na mwonekano.
Utafutaji wa kiotomatiki wa mwingiliano: Wakala hutumia Playwright MCP kubofya, kuingiza maandishi na kubadilisha kurasa kama mjaribu, akigundua vipengele na kujaribu hali za mipaka.
Utafutaji unaoongozwa na ufunikaji wa msimbo: Kwa kutumia uwekaji wa kiotomatiki unaotegemea Istanbul, mfumo hufuatilia ufunikaji kwa wakati halisi. Utafutaji unapokuwa hautoshi, modeli msaidizi hupendekeza maeneo ya msimbo ambayo hayajafikiwa.
Uondoaji na upangaji wa hali: Rekodi ndefu za uendeshaji huondolewa nakala na kusawazishwa, kisha kuunganishwa kuwa grafu ya mabadiliko ya hali inayotoa ushahidi muhimu wa uendeshaji kwa ajili ya upimaji.
Upimaji huru wa vipimo vitatu: Hutathmini mvuto wa kuona, urahisi wa matumizi na ulinganifu na mahitaji kwa kujitegemea, kisha huviunganisha kuwa alama sanifu ya jumla.
Uthibitishaji wa mapendeleo ya binadamu: Kwenye seti huru ya uthibitishaji, matokeo hulinganishwa na kura za binadamu zilizokaguliwa; uwiano wa maamuzi ya jozi hufikia 85.3%, kuthibitisha uaminifu wa tathmini.

Uwekaji wa kiotomatiki wa vifaa vya ufuatiliaji hukusanya ushahidi wa uendeshaji: Mfumo huingiza vihesabio kwenye msimbo wa programu na huunga mkono mifumo kama HTML tuli, Vite, Next, CRA na Astro. Baada ya programu kuanza, kila mwingiliano hurudisha ufunikaji wa msimbo na ongezeko lake, na kufanya “ni msimbo gani umetekelezwa” kuonekana.
Utafutaji wa wakala unaoongozwa na ufunikaji: Wakala wa utafutaji hauoni msimbo wa chanzo wala orodha ya ukaguzi, bali hutumia ukurasa wa wavuti kulingana na mchakato wa majaribio ya GUI. Mwingiliano mitatu mfululizo usipoleta ufunikaji mpya, mfumo huomba modeli nyingine ichanganue msimbo ambao bado haujatekelezwa, kisha hubadilisha mapendekezo hayo kuwa lugha asilia na kumpa wakala wa utafutaji ili aendelee kujaribu.
Uondoaji wa hali hubana mkondo wa mwingiliano: Muundo wa ukurasa husawazishwa; kurasa zinazofanana huunganishwa kuwa hali moja, na vitendo huunganishwa kuwa grafu ya mabadiliko ya hali. Hii huzuia picha za skrini zinazorudiwa kutumia muktadha wa modeli ya upimaji na kufanya njia za hitilafu zionekane wazi.
Upimaji wa vipimo vingi unaotenganisha utafutaji na upimaji: Wakati wa kukusanya ushahidi katika hatua ya utafutaji, orodha ya ukaguzi haionekani; katika hatua ya upimaji ndipo ushahidi hutafutwa kwa kulinganisha kila kipengele na kiwango. Mvuto wa kuona na urahisi wa matumizi hupimwa kwa mizunguko mitatu ya “tafuta mazuri, bainisha kasoro, kisha mwamuzi atoe alama”; kwa ulinganifu na mahitaji, kila uamuzi lazima urejelee ushahidi wa uendeshaji na alama hutolewa kulingana na uwiano wa mahitaji yaliyotimizwa. Kila kipimo kati ya vitatu kinachangia theluthi moja ya alama ya jumla.

Andaa programu inayozalishwa: Fanya modeli inayotathminiwa izalishe programu ya wavuti kulingana na mahitaji, kisha iweke katika hali inayoweza kuendeshwa.
Uwekaji wa kiotomatiki wa vifaa vya ufuatiliaji: Endesha zana ya uwekaji wa WebCraftBench ili kuingiza vihesabio vya ufunikaji kwenye msimbo wa programu, na kufanya kila mwingiliano uweze kurudisha taarifa za utekelezaji wa msimbo.
Utafutaji wa mwingiliano: Anzisha wakala wa utafutaji na utumie Playwright MCP kuendesha ukurasa wa wavuti, ukifanya vitendo kama kubofya, kuingiza maandishi na kubadilisha kurasa ili kugundua vipengele na kujaribu hali za mipaka.
Ufunikaji unaoongoza utafutaji wa mapungufu: Mwingiliano mitatu mfululizo usipoongeza ufunikaji, modeli msaidizi huchanganua msimbo ambao haujatekelezwa na kutoa mapendekezo ya lugha asilia kwa wakala wa utafutaji ili aendelee, hadi hatua 100.
Panga ushahidi wa uendeshaji: Mfumo huondoa nakala na kuunganisha rekodi za vitendo kiotomatiki kuwa grafu ya mabadiliko ya hali, huku ukihifadhi picha za skrini na mikondo ya mwingiliano.
Upimaji wa vipimo vitatu: Mawakala wa upimaji hutathmini mvuto wa kuona na urahisi wa matumizi, kisha hukagua ulinganifu na mahitaji kipengele kwa kipengele dhidi ya vigezo vya ukaguzi; kila uamuzi lazima urejee ushahidi wa uendeshaji.
Toa matokeo: Pata alama sanifu za vipimo vitatu pamoja na alama ya jumla, ambazo zinaweza kulinganishwa na nafasi katika kundi la miundo; tofauti kubwa ya alama huifanya matokeo kuwa ya kuaminika zaidi.

Imeelekezwa kwenye matumizi halisi: Huwawezesha mawakala kutumia ukurasa wa wavuti na kutoa alama, badala ya kuangalia msimbo au picha za skrini pekee. Hivyo inaweza kugundua matatizo kama “kitufe cha kuanzia kimeharibika” au “ukurasa wa mwanzo haufunguki” ambayo tathmini tuli hukosa.
Utafutaji unaoongozwa na ufunikaji: Hutumia ufunikaji wa msimbo kama “kidokezo cha kutafuta mapungufu”. Wakala wa majaribio anaposhindwa kupata kipengele, modeli ya nyuma hupendekeza mwelekeo, hivyo kupunguza uwezekano wa kuchukulia kushindwa kwa utafutaji kimakosa kuwa kasoro ya bidhaa.
Utafutaji na upimaji vimetenganishwa: Orodha ya ukaguzi hutumika tu katika hatua ya upimaji, hivyo huhifadhi vikwazo vya mahitaji bila kuzuia mwingiliano nje ya orodha kuangaliwa, na kupanua ufunikaji wa tathmini.
Upimaji huru wa vipimo vingi: Mvuto wa kuona, urahisi wa matumizi na ulinganifu na mahitaji hupimwa tofauti, kuzuia mfano “unaonekana mzuri lakini huanguka unapotumiwa” kuficha udhaifu wake ndani ya alama moja ya jumla.
Ulinganifu mkubwa na mapendeleo ya binadamu: Katika makundi 197 ya ulinganisho wa binadamu yaliyokaguliwa, uwiano wa maamuzi ulikuwa 85.3%; tofauti ya alama inapokuwa kubwa (≥0.75), uwiano huongezeka hadi 98%, hivyo matokeo huwa ya kuaminika.
Uthabiti mkubwa wa tathmini: Baada ya kubadilisha modeli ya mwamuzi wa upimaji, mgawo wa uhusiano wa nafasi bado ulifikia 0.980, na mpangilio wa nne bora haukubadilika; hitimisho halitegemei mwamuzi mmoja.

Karatasi ya kiufundi kwenye arXiv: https://arxiv.org/pdf/2609.15387

Uteuzi wa modeli za zana za programu za AI: Timu inapochagua modeli kubwa ya kutumia kuzalisha programu za wavuti, hutumia alama za vipimo vitatu za WebCraftBench kwa ulinganisho wa lengo, badala ya kufanya uamuzi kwa kuangalia mwonekano wa demo pekee.
Majaribio ya kukubali bidhaa za uundaji wa kurasa za wavuti kwa AI: Unganisha “mchakato wa matumizi halisi” wa WebCraftBench kwenye hatua ya uwasilishaji wa bidhaa ili kuchukua nafasi ya ukaguzi wa kila ukurasa na binadamu, na kugundua kiotomatiki matatizo kama viingilio visivyofanya kazi au vipengele visivyofikika.
Majaribio ya kurudi nyuma kwa miundo ya uundaji wa msimbo: Endesha kipimo mara moja baada ya kila uboreshaji wa modeli, linganisha mabadiliko ya mvuto wa kuona, urahisi wa matumizi na ulinganifu na mahitaji, na kupima kama toleo jipya limeboreshwa au limedorora.
Utambuzi wa viwango vya ubora wa uundaji: Tumia mgawanyo wa vipimo na vidokezo vya ufunikaji mdogo kutambua tatizo, iwe ni muundo usiofaa, hitilafu ya mwingiliano au uelewa potovu wa mahitaji, na kuelekeza uboreshaji maalumu.