Qwen-CUA – وكيل أصلي لاستعمال الحاسوب طوّراتو Alibaba Qwen وآخرين خدام

Qwen-CUA هو وكيل أصلي لاستعمال الحاسوب طوّراتو فرقة Qwen بشراكة مع XLang Lab، ومبني على معمارية الخبراء الممزوجين 397B-A17B. كيدرك حالة الواجهة غير من خلال لقطات الشاشة، بلا اعتماد على شجرة DOM ولا على بيانات الولوج المساعد، وكيستعمل مباشرة أحداث الكيبورد والماوس للتحكم فالمتصفحات وتطبيقات سطح المكتب والبرامج المتخصصة. فاختبار OSWorld-Verified حصل على 86.2 نقطة، بينما النسخة الأكبر Qwen-CUA-Max فيها أكثر من تريليون مُعامل ووصلات لـ87.6 نقطة.

الإدراك البصري الخالص: كيفهم حالة الواجهة غير من خلال لقطات الشاشة، بلا اعتماد على بنية HTML ولا بيانات الولوج المساعد، وكيتميز بتوافق أكبر مع مختلف المنصات.
محاكاة الإدخال بشكل أصلي: كيخرج مباشرة أحداث الكيبورد والماوس، وكيقدر ينفذ العمليات فالمتصفحات وتطبيقات سطح المكتب والبرامج المتخصصة.
قاعدة معمارية MoE: مبنية على نموذج الخبراء الممزوجين 397B-A17B، وكتوازن بين الأداء وتكلفة الاستدلال؛ والنسخة Max فيها أكثر من تريليون مُعامل وكتقدم أداءً أحسن.
تقرير تقني مفتوح: التقرير التقني والـDemo المرجعي منشورين فـGitHub، باش يسهل على الباحثين يعاودو التجارب ويطورو المشروع.

المعمارية الأساسية: مبنية على معمارية الخبراء الممزوجين Qwen3.5-397B-A17B، بإجمالي 397B مُعامل، وما كيتفعل فكل تمريرة أمامية غير 17B، وبهذا كتحافظ على قدرة تعبير قوية مع التحكم فتکلفة الاستدلال.
آلية الانتباه الممزوج: كتستعمل الانتباه الخطي GatedDeltaNet والانتباه الكامل المحكوم Gated Full Attention بالتناوب بنسبة 75:25، وكتخفض تعقيد حساب السلاسل الطويلة من O(n²) لقريب من الخطي، مع رفع إنتاجية سياق 256K بـ19 مرة مقارنة بالمعماريات التقليدية.
توجيه الخبراء: كل طبقة فيها 512 خبير توجيه دقيق، كيتفعّلو باختيار Top-10 وإعادة تطبيع الأوزان، مع خبير مشترك واحد وبوابة sigmoid كتضبط بشكل تكيفي مساهمة المعرفة العامة باش ما يضيع حتى جزء من المعلومات.
الإدراك البصري الخالص: كيدرك حالة الواجهة غير من خلال لقطات الشاشة، وما كيعتمدش نهائياً على شجرة HTML DOM ولا بيانات الولوج المساعد ولا واجهات برمجة نظام التشغيل، وبهذا كيوفر إدراكاً متعدد المنصات لأي تطبيق GUI.
الترميز البصري وتحديد المواقع: كيرث معمارية ViT من سلسلة Qwen-VL وكيَدعم الإدخال بدقة ديناميكية، ومع ترميز MRoPE متعدد الوسائط للموقع الدوّار كيشفر فآن واحد معلومات الوقت والعلو والعرض ثلاثية الأبعاد، وكيحدد بدقة إحداثيات عناصر الواجهة.

دخل للمستودع: قلب فـGitHub على xlang-ai/Qwen-CUA باش تدخل للصفحة الرئيسية ديال المشروع.
قرا التقرير التقني: حمّل وقرا التقرير التقني الموجود فالمشروع باش تفهم معمارية النموذج وتفاصيل التدريب.
شغّل الـDemo المرجعي: وجد البيئة حسب README، وشغّل الـDemo المرجعي الرسمي باش تجرب الأتمتة المعتمدة على لقطات الشاشة.
ربطو بالبيئة ديالك: ربط النموذج ببيئة سطح مكتب أو متصفح محلية ولا سحابية، ونفذ المهام فحلقة مغلقة باستعمال لقطات الشاشة كمدخلات وإخراجات الكيبورد والماوس.

نقط عالية فالاختبارات: وصل لـ86.2 نقطة فـOSWorld-Verified، والنسخة Max وصلات لـ87.6 نقطة، وكيُعتبر من الحلول المتقدمة فمجال CUA مفتوح المصدر.
CUA أصلي فعلاً: على عكس الحلول اللي كتحتاج API ولا كتجمع عدة Agents، Qwen-CUA نموذج رؤية-فعل متدرّب من البداية للنهاية، وكيتميز باستقرار أكبر.
توافق متعدد المنصات: ما كيتقيدش بنظام التشغيل ولا بنوع التطبيق؛ أي برنامج عندو واجهة رسومية يمكن التحكم فيه.
منظومة مفتوحة المصدر: مرخّص برخصة Apache 2.0، والتقرير التقني والـDemo منشورين، والمجتمع يقدر يوسعو بحرية.

مستودع GitHub: https://github.com/xlang-ai/Qwen-CUA
البحث التقني: https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf

الاختبار الآلي للبرامج: كيتعرف على عناصر الواجهة من خلال لقطات الشاشة وكيـنفذ عمليات النقر والكتابة والتمرير وغيرها، بلا حاجة لكتابة سكريبتات خاصة، باش يكمل اختبارات UI للانحدار عبر مختلف المنصات.
أتمتة مسارات RPA: كيعاوض الإنسان فإدخال البيانات، وإنشاء التقارير، وعمليات ERP وغيرها من المهام المكتبية المتكررة، بلا ما تكون حاجة لتغيير أنظمة IT الموجودة فالشركة.
أدوات المساعدة على الولوج: كيتعرف بشكل آلي على عناصر واجهة البرامج للمستخدمين ضعاف البصر ولا لكبار السن، وكيعاونهم ينفذو عمليات دقيقة، وبهذا كيهبط صعوبة استعمال البرامج المتخصصة.
التحكم فبرامج البحث والبرامج المتخصصة: كيتحكم آلياً فبرامج متخصصة بحال MATLAB وSPSS اللي ما عندهاش واجهة API، وكيـنفذ على دفعات مهام طويلة بحال معالجة بيانات التجارب وإنشاء الرسوم البيانية.
خدمات استضافة Agent فالسحابة: كيتنشر فبيئة سطح مكتب سحابية وكيخدم 7×24 ساعة فمهام خلفية بحال تفقد المواقع، وجمع البيانات، وتحميل التقارير المبرمجة.