WebCraftBench Faoliyat yuritmoqda

WebCraftBench — Tencent Hunyuan tomonidan Tsinghua va Pekin universitetlari bilan hamkorlikda ishlab chiqilgan AI veb-sahifa generatsiyasini baholash mezoni. WebCraftBench avval generatsiya qilingan ilovaga avtomatik instrumentatsiya qo‘shadi, so‘ng agent Playwright orqali veb-sahifani amalda ishlatib, funksiyalarni o‘rganadi va kamchiliklarni aniqlash uchun kod qamroviga tayanadi; keyin o‘zaro ta’sir yozuvlarini holatlar grafigiga abstraksiyalaydi va ularni estetik ko‘rinish, foydalanish qulayligi hamda talabga muvofiqlik bo‘yicha alohida baholaydi. Mezon 369 ta haqiqiy talab va insonlar tomonidan tekshirilgan 5 088 ta qabul qilish mezonini o‘z ichiga oladi, 17 ta ilg‘or modelning 6 273 ta ilovasini qamrab oladi. Insonlar afzalliklari bilan moslik darajasi 85.3% ga yetadi.

Haqiqiy talablar to‘plami: haqiqiy foydalanish oqimidan olingan 369 ta foydalanuvchi talabini o‘z ichiga oladi. Ularga funksional, kontent va vizual talablarni qamrab oluvchi, insonlar tomonidan tekshirilgan 5 088 ta qabul qilish mezoni biriktirilgan.
Interaktiv avtomatik o‘rganish: agent Playwright MCP orqali testchi kabi bosadi, ma’lumot kiritadi va sahifalar o‘rtasida o‘tadi, funksiyalarni mustaqil aniqlaydi hamda chegaraviy holatlarni sinaydi.
Kod qamovi asosida yo‘naltirish: Istanbul asosidagi avtomatik instrumentatsiya qamrovni real vaqt rejimida kuzatadi. O‘rganish yetarli bo‘lmaganda, yordamchi model tegilmagan kod yo‘nalishlarini tavsiya qiladi.
Holatlarni abstraksiyalash va tartibga solish: uzun operatsiya yozuvlarini dublikatlardan tozalab, me’yorlashtiradi va holatlar o‘tish grafigiga birlashtiradi; baholash uchun muhim ishlash dalillarini ajratib oladi.
Uch o‘lchovli mustaqil baholash: estetik ko‘rinish, foydalanish qulayligi va talabga muvofiqlikni alohida baholab, standartlashtirilgan umumiy ballni hisoblaydi.
Insonlar afzalliklarini tekshirish: mustaqil tekshiruv to‘plamida qayta ko‘rib chiqilgan inson ovozlari bilan taqqoslanadi. Juftlikdagi qarorlar mosligi 85.3% ga yetib, baholash ishonchliligini tasdiqlaydi.

Ishlash dalillarini yig‘ish uchun avtomatik instrumentatsiya: tizim ilova kodiga hisoblagichlarni kiritadi va statik HTML, Vite, Next, CRA hamda Astro kabi freymvorklarni qo‘llab-quvvatlaydi. Ilova ishga tushgach, har bir o‘zaro ta’sir kod qamovi va uning o‘sishini qaytaradi, shuning uchun “qaysi kod bajarilgani” kuzatiladigan bo‘ladi.
Qamov asosida yo‘naltirilgan agent o‘rganishi: o‘rganuvchi agent manba kodini ham, qabul qilish ro‘yxatini ham ko‘rmaydi; GUI test jarayoniga muvofiq veb-sahifani boshqaradi. Ketma-ket uchta o‘zaro ta’sir yangi qamov bermasa, tizim boshqa modeldan hali bajarilmagan kodni tahlil qilishni so‘raydi va tavsiyalarni tabiiy tilda o‘rganuvchi agentga yetkazadi.
Holat abstraksiyasi orqali o‘zaro ta’sir izlarini siqish: sahifa tuzilmasi me’yorlashtiriladi, bir xil sahifalar bitta holatga birlashtiriladi, amallar esa holatlar o‘tish grafigiga ulanadi. Bu takroriy skrinshotlarning baholash modeli kontekstini egallashining oldini oladi va nosozlik yo‘lini aniq ko‘rsatadi.
O‘rganish va baholashni ajratgan ko‘p o‘lchovli ball berish: o‘rganish bosqichida dalillar yig‘ilganda qabul qilish ro‘yxati ko‘rilmaydi; baholash bosqichidagina har bir mezon bo‘yicha dalillar izlanadi. Estetik ko‘rinish va foydalanish qulayligi “afzalliklarni topish — kamchiliklarni aniqlash — hakam ball berishi” shaklidagi uch bosqichli muhokama orqali baholanadi; talabga muvofiqlik bo‘yicha har bir qaror ishlash daliliga tayanishi kerak va ball bajarilgan talablar ulushiga ko‘ra beriladi. Har uch o‘lchov umumiy ballning uchdan bir qismini tashkil etadi.

Generatsiya qilingan ilovani tayyorlash: baholanadigan modelga talablar asosida veb-ilova yaratish va uni ishlaydigan holatda joylashtirish topshiriladi.
Avtomatik instrumentatsiya: WebCraftBench instrumentatsiya vositasini ishga tushirib, ilova kodiga qamov hisoblagichlarini kiritish kerak. Shunda har bir o‘zaro ta’sir kod bajarilishi haqidagi ma’lumotni qaytara oladi.
Interaktiv o‘rganish: o‘rganuvchi agentni ishga tushirib, Playwright MCP orqali veb-sahifani boshqarish, bosish, ma’lumot kiritish va sahifalar o‘rtasida o‘tish kabi amallarni bajarish; funksiyalarni mustaqil aniqlash va chegaraviy holatlarni sinash.
Qamov asosida kamchiliklarni aniqlash: ketma-ket uchta o‘zaro ta’sir yangi qamov bermasa, yordamchi model bajarilmagan kodni tahlil qilib, tabiiy tildagi tavsiyalarni o‘rganuvchi agentga yuboradi (ko‘pi bilan 100 qadam).
Ishlash dalillarini tartibga solish: tizim sahifa tuzilmasini avtomatik ravishda holatlarga abstraksiyalaydi, operatsiya yozuvlarini dublikatlardan tozalab holatlar o‘tish grafigiga birlashtiradi hamda skrinshotlar va o‘zaro ta’sir izlarini saqlaydi.
Uch o‘lchovli baholash: baholash agentlari estetik ko‘rinish va foydalanish qulayligini alohida baholaydi, talabga muvofiqlikni esa qabul qilish mezonlari bilan bandma-band tekshiradi. Har bir qaror ishlash daliliga tayanishi kerak.
Natijalarni chiqarish: uch o‘lchov bo‘yicha standartlashtirilgan ballar va umumiy ball olinadi. Ularni modellar havzasidagi reyting bilan taqqoslash mumkin; ballardagi farq qanchalik katta bo‘lsa, natija shunchalik ishonchli bo‘ladi.

Amaliy sinovga yo‘naltirilgan: agent veb-sahifani bevosita boshqarib baho beradi, faqat kod yoki skrinshotga tayanmaydi. Shu sababli statik baholashda o‘tkazib yuboriladigan “kirish tugmasi ishlamaydi, bosh sahifa ochilmaydi” kabi muammolarni aniqlay oladi.
Qamov asosida yo‘naltirilgan o‘rganish: kod qamovi “kamchiliklarni aniqlash yo‘riqnomasi” sifatida ishlatiladi. Test agenti funksiyani topa olmasa, fon modeli yo‘nalish beradi va o‘rganishdagi muvaffaqiyatsizlikni mahsulot nuqsoni deb noto‘g‘ri baholashni kamaytiradi.
O‘rganish va baholashni ajratish: qabul qilish ro‘yxati faqat baholash bosqichida ishlatiladi. Bu talablar cheklovlarini saqlagan holda, ro‘yxatdan tashqari o‘zaro ta’sirlarni ham kuzatish imkonini beradi va baholash qamrovini kengaytiradi.
Ko‘p o‘lchovli mustaqil baholash: estetik ko‘rinish, foydalanish qulayligi va talabga muvofiqlik alohida baholanadi. Shu tariqa “ko‘rinishi chiroyli, ammo ishlatishda darhol buziladi” kabi modellarning kamchiliklari yagona umumiy ball ortida yashirinib qolmaydi.
Insonlar afzalliklari bilan yuqori darajadagi moslik: qayta ko‘rib chiqilgan 197 ta insoniy taqqoslash guruhida qarorlar mosligi 85.3% ga yetdi; ballar farqi katta bo‘lganda (≥0.75) bu ko‘rsatkich 98% gacha oshdi. Natijalar yuqori darajada ishonchli.
Baholash barqarorligi yuqori: baholovchi hakam modeli almashtirilganda ham reyting korrelyatsiya koeffitsienti 0.980 bo‘lib qoldi, dastlabki to‘rtlik tartibi o‘zgarmadi. Xulosa bitta hakamga bog‘liq emas.

arXiv texnik maqolasi：https://arxiv.org/pdf/2609.15387

AI dasturlash vositalari uchun model tanlash: jamoa qaysi yirik modeldan veb-ilova generatsiya qilishda foydalanishni tanlayotganda, WebCraftBenchning uch o‘lchovli ballari orqali obyektiv taqqoslash o‘tkazadi va faqat demo ko‘rinishiga qarab qaror qabul qilishdan qochadi.
AI veb-sahifa generatsiyasi mahsulotlarini qabul qilish testi: WebCraftBenchning “amaliy sinov jarayoni”ni mahsulotni topshirish bosqichiga ulab, sahifalarni qo‘lda tekshirishni almashtiradi va kirish nuqtalarining ishlamasligi, funksiyalarga yetib bo‘lmasligi kabi muammolarni avtomatik aniqlaydi.
Kod generatsiyasi modellarining iteratsion regressiya testi: model har yangilangandan so‘ng mezonni bir marta ishga tushirib, estetik ko‘rinish, foydalanish qulayligi va talabga muvofiqlikdagi o‘zgarishlarni taqqoslaydi hamda yangi versiya yaxshilanganmi yoki yomonlashganmi, miqdoriy baholaydi.
Generatsiya sifatini qatlamli diagnostika qilish: o‘lchovlarni ajratish va past qamov signallaridan foydalanib, muammo dizayndami, o‘zaro ta’sirdagi xatodami yoki talabni tushunishdagi og‘ishdami, aniqlaydi va maqsadli optimallashtirishga yo‘naltiradi.