WebCraftBench خدام

WebCraftBench هو معيار لتقييم توليد صفحات الويب بالذكاء الاصطناعي، طوّراتو Tencent Hunyuan بشراكة مع جامعتي تسينغهوا وبكين. كيدير WebCraftBench أولاً إدماج آلي لأدوات التتبع فالتطبيق المولَّد، وكيخلي الوكيل يستعمل Playwright فعلياً باش يستكشف وظائف الصفحة، وكيستعمل تغطية الكود باش يلقا الجوانب اللي ما تختبراتش؛ ومن بعد كيحوّل سجلات التفاعل لمخطط حالات، وكيعطي نقاط بشكل منفصل فثلاثة أبعاد: الجمالية، سهولة الاستعمال، ومدى مطابقة المتطلبات. المعيار فيه 369 طلب حقيقي و5,088 معيار قبول تراجعو يدوياً، وكيغطي 6,273 تطبيق من 17 نموذج متطور، بنسبة توافق مع تفضيلات البشر وصلات لـ 85.3%.

مجموعة تقييم مبنية على طلبات حقيقية: فيها 369 طلب من مستعملي حقيقيين، ومعاها 5,088 معيار قبول تراجعو يدوياً، وكتغطي المتطلبات الوظيفية والمحتوى والجانب البصري.
استكشاف آلي تفاعلي: الوكيل كيستعمل Playwright MCP بحال المختبِر، كينقر وكيكتب وكيبدّل الصفحات، وكيكتاشف الوظائف وكيختبر الحالات الحدّية بشكل استباقي.
الاستكشاف الموجَّه بتغطية الكود: اعتماداً على الإدماج الآلي ديال Istanbul، كيراقب النظام التغطية فالوقت الحقيقي، ومنين كيبان أن الاستكشاف ناقص، كيعطي نموذج مساعد اقتراحات على أجزاء الكود اللي ما توصلاتش.
تجريد الحالات وتنظيمها: كينحي التكرار من سجلات العمليات الطويلة وكيطبّعها، وكيجمعها فمخطط لانتقالات الحالات، وكيستخرج الأدلة المهمة على التشغيل باش تستعمل فالتقييم.
تنقيط مستقل بثلاثة أبعاد: كيتقيّم كل من الجمالية وسهولة الاستعمال ومدى مطابقة المتطلبات بشكل منفصل، ومن بعد كيتحسب المجموع المعياري.
التحقق من تفضيلات البشر: فمجموعة تحقق مستقلة، كيقارن النتائج مع تصويتات بشرية مراجعَة، ووصل توافق الأحكام الزوجية لـ 85.3%، الشي اللي كيأكد موثوقية التقييم.

الإدماج الآلي لجمع أدلة التشغيل: كيدخل النظام عدّادات فالكود ديال التطبيق، وكيدعم HTML الثابت وVite وNext وCRA وAstro وغيرها. منين كيبدا التطبيق، كل تفاعل كيرجع نسبة تغطية الكود والزيادة الجديدة فيها، وكيولي واضح شنو هو الكود اللي تنفّذ.
استكشاف الوكيل الموجَّه بالتغطية: وكيل الاستكشاف ما كيشوفش المصدر وما كيشوفش لائحة القبول، وكيخدم الصفحة حسب مسار اختبار GUI. منين كيدوزو ثلاثة تفاعلات متتالية بلا ما تزيد التغطية، كيطلب النظام من نموذج آخر يحلل الكود اللي ما تنفّذش، وكيحوّل الاقتراحات للغة طبيعية باش يعطيها لوكيل الاستكشاف ويكمّل المحاولة.
تجريد الحالات وضغط مسار التفاعل: كيتطبّع هيكل الصفحة، وكتندمج الصفحات المتشابهة فحالة وحدة، وكتتحول العمليات لانتقالات بين الحالات. هاد الشي كيتفادى تكرار لقطات الشاشة واحتلالها للسياق ديال نموذج التقييم، وكيخلي مسار الأعطال واضح.
تنقيط متعدد الأبعاد مع فصل الاستكشاف عن التقييم: فمرحلة الاستكشاف، كيتجمع الدليل بلا ما يشوف الوكيل لائحة القبول؛ وفمرحلة التقييم، كيتراجع كل معيار على حدة وكيتم البحث عن الدليل. الجمالية وسهولة الاستعمال كيتقيّمو بثلاث جولات: «البحث عن المزايا، تحديد العيوب، ثم إصدار الحكم والتنقيط»؛ أما مطابقة المتطلبات، فكل حكم خاصو يستشهد بدليل من التشغيل، وكيتم التنقيط حسب نسبة المتطلبات المستوفاة. كل بُعد من الأبعاد الثلاثة كيمثل ثلث المجموع.

وجد التطبيق المولَّد: خلّي النموذج اللي غادي يتقيّم يولّد تطبيق ويب حسب المتطلبات، ونشّرو فحالة قابلة للتشغيل.
الإدماج الآلي: شغّل أداة الإدماج ديال WebCraftBench باش تدخل عدّادات تغطية الكود فالتطبيق، وتولي كل تفاعلات كترجع معلومات على تنفيذ الكود.
الاستكشاف التفاعلي: شغّل وكيل الاستكشاف وخليه يستعمل Playwright MCP فالصفحة، ويدير النقر والكتابة وتبديل الصفحات وغيرها، ويكتاشف الوظائف ويختبر الحالات الحدّية بشكل استباقي.
استعمال التغطية لاكتشاف النواقص: منين ما كتزادش التغطية فثلاثة تفاعلات متتالية، كيحلل نموذج مساعد الكود اللي ما تنفّذش، وكيولّد اقتراحات باللغة الطبيعية لوكيل الاستكشاف باش يكمّل الاستكشاف، بحد أقصى 100 خطوة.
تنظيم أدلة التشغيل: كينظّم النظام هيكل الصفحات تلقائياً عبر تجريد الحالات، وكيجمع سجلات العمليات بعد إزالة التكرار فمخطط لانتقالات الحالات، مع الاحتفاظ بلقطات الشاشة ومسارات التفاعل.
التنقيط بثلاثة أبعاد: كييّمو وكلاء التقييم الجمالية وسهولة الاستعمال بشكل منفصل، وكيقابلو كل معيار قبول مع التطبيق باش يتحققو من مطابقة المتطلبات، وكل حكم خاصو يستشهد بدليل من التشغيل.
إخراج النتائج: كتحصل على نقاط معيارية فالأبعاد الثلاثة وعلى المجموع العام، وتقدر تقارنها بترتيب مجموعة النماذج؛ وكلما كان الفرق فالنقاط كبير، كتكون النتيجة أوثق.

موجّه للاختبار الفعلي: كيخلي الوكيل يستعمل الصفحة فعلياً ويعطيها النقاط، وما كيكتفيش بالكود ولا بلقطات الشاشة، وكيقدر يكتاشف مشاكل بحال «زر الدخول خاسر» أو «الصفحة الرئيسية ما كتفتحش» اللي كتفلت من التقييمات الثابتة.
استكشاف موجَّه بالتغطية: كيتستعمل تغطية الكود كـ«خيط لاكتشاف النواقص»، ومنين ما كيلقاش وكيل الاختبار وظيفة معيّنة، كيعطيه النموذج الخلفي الاتجاه المناسب، وكيقلل من اعتبار فشل الاستكشاف عيباً فالمنتج.
فصل الاستكشاف عن التقييم: لائحة القبول كتستعمل غير فمرحلة التقييم، وبهذا كيبقى احترام المتطلبات بلا ما تحدّ من ملاحظة التفاعلات اللي خارج اللائحة، وكيكبر نطاق التقييم.
تنقيط مستقل متعدد الأبعاد: الجمالية وسهولة الاستعمال ومطابقة المتطلبات كيتنقّطو بشكل منفصل، باش ما يغطّيش مجموع واحد على عيوب نموذج «شكله زوين ولكن كيخسر من أول استعمال».
توافق كبير مع تفضيلات البشر: فـ 197 مجموعة من المقارنات البشرية المراجَعة، وصل توافق الأحكام لـ 85.3%، ومنين كيكون الفرق كبيراً (≥0.75) كترتفع النسبة لـ 98%، وكتكون النتائج موثوقة.
استقرار قوي فالتقييم: من بعد تبديل نموذج التحكيم، بقى معامل الارتباط مع الترتيب فـ 0.980، وما تبدّلش ترتيب الأربعة الأوائل، وهاد الاستنتاج ما كيعتمدش على حكم واحد.

البحث التقني على arXiv: https://arxiv.org/pdf/2609.15387

اختيار النماذج لأدوات البرمجة بالذكاء الاصطناعي: منين كيختار الفريق شنو هو النموذج الكبير اللي غادي يولّد تطبيقات الويب، كيستعمل نقاط WebCraftBench الثلاثية للمقارنة الموضوعية، وما كيبقاش القرار مبني غير على شكل العرض التجريبي.
اختبار قبول منتجات توليد صفحات الويب بالذكاء الاصطناعي: كيدمج «مسار الاختبار الفعلي» ديال WebCraftBench فمرحلة تسليم المنتج، وكيعوّض الفحص اليدوي صفحة بصفحة، وكيكتاشف آلياً مشاكل بحال تعطل مداخل الوصول أو عدم إمكانية الوصول للوظائف.
اختبار الانحدار عند تطوير نماذج توليد الكود: من بعد كل ترقية للنموذج، كيتشغّل المعيار مرة أخرى، وكيتم مقارنة التغييرات فالجمالية وسهولة الاستعمال ومطابقة المتطلبات، باش يتحدد واش النسخة الجديدة تحسّنات ولا تراجعات.
تشخيص جودة التوليد حسب المستويات: كيستعمل تقسيم الأبعاد وإشارات التغطية المنخفضة لتحديد مصدر المشكل: واش التصميم ناقص، ولا كاين خلل فالتفاعل، ولا فهم المتطلبات ما كانش صحيح، وكيعاون فالتطوير الموجّه.