QwenGyre خدام

QwenGyre هو إطار للتعلّم المعزّز عبر الإنترنت للوكلاء ذوي المدى الطويل بزاف، طوّراتو علي بابا Qwen، وموجّه لمهام كتستعمل تقريباً 700 ألف token فكل تشغيل وكتدوم ساعات. كيستعمل QwenGyre جدولة مرنة باش يحوّل وحدات GPU الخاوية بين أخذ العينات والتدريب بلا ما يوقف المهمة، وكيعتمد على معالجة المسارات باش يحافظ على السياق الحقيقي، ويقيّم النتائج الجزئية، ويحيد التكرار من البادئات المشتركة للتحكم فالتكلفة. على Qwen3.8-2.4T، رفع نسبة النجاح فـ NL2RepoBench من 52.48% حتى 58.54% خلال 48 خطوة، مع تسريع 1.78× مقارنةً بالتنفيذ Async من البداية للنهاية.

التعلّم المعزّز عبر الإنترنت للوكلاء ذوي المدى الطويل: كيدير تدريب RL مباشرة على مهام كيدوم تنفيذها حتى لساعات وكتجمع تقريباً مليون token.
جدولة مرنة ديال GPU: كينقل ديناميكياً وحدات GPU الخاوية بين أخذ العينات والتدريب بلا ما يوقف المهمة.
إعادة توجيه الطلبات ونقل KV cache: ملي كتبدل أدوار وحدات GPU، كيكمل الوكيل الخدمة، وكتبقى مساحة العمل وحالة الأدوات محفوظة، وكيتم نقل KV cache عبر RDMA لتقليل الحسابات المكررة.
التدريب المتدفق وانضمام عقد جديدة فوسط الخدمة: الخلية الأساسية كتحتافظ بالمعاملات الرسمية، والخلايا التابعة تقدر تجيب snapshot فـ أي وقت وتنضم لدفعة خدامة، وكتاخد micro-batches حسب التقدم.
شجرة المسارات والحفاظ على السياق الحقيقي: كيسجل كل استدعاء بدقة عبر Token-in Token-out، وكيجمع المسارات فشجرة مبنية على البادئات المشتركة، باش يبقى كل خرج مرتبط بالسياق اللي تولّد فيه.
التقييم الجزئي (Partial Scoring): حتى إلا ما سالاتش المهمة بسبب انتهاء الوقت، إلا نتجات عليها نتيجة قابلة للتحقق، كتتقيّم حسب قواعد المهمة وكتستعمل فالتدريب.
ميزانية المسارات وموازنة الخسارة: كل تنفيذ كيحتافظ بحد أقصى ديال Jmax مسار، والبادئة المشتركة كتتحسب مرة وحدة فالخسارة، باش ما يكونوش المهام اللي فيها فروع كثيرة موزونة بزاف.

الجدولة المرنة (Elastic Scheduler): كيقسم وحدات GPU إلى مجموعة ديال وحدات حساب متجانسة. كل خلية تقدر تستعمل SGLang لتوفير خدمة أخذ العينات، أو تستعمل Megatron لاستضافة نسخة كاملة من التدريب. كيتبع المجدول “مستوى المياه”، أي عدد المهام اللي مازال ما سالاتش. إلا كانت سعة أخذ العينات المتبقية كافية لدعم المهام الجارية وكان تزويد بيانات التدريب كافي، كيدخل الخلايا وحدة بوحدة للتدريب حسب الترتيب. وقت التبديل، كيعيد الوكيل توجيه طلبات النموذج لمحرك استدلال جديد وكيعاود المحاولات للطلبات اللي ما كملاتش، بلا ما تكون حاجة لإعادة بناء العمليات الخلفية أو مجموعات الاتصال. الخلية الأساسية كتحتافظ بالأوزان الرسمية وحالة المحسّن، بينما الخلايا التابعة كتجيب snapshot ديال المعاملات عبر RDMA وكتنضم لتجميع التدرجات فالدفعة الحالية. من بعد كتجمع الخلية الأساسية النتائج وكتحدّث النموذج، وبهذا كيقدر التدريب يتوسّع تدريجياً مع جاهزية البيانات، وكيوقع تداخل كبير بين أخذ العينات والتدريب.
معالجة المسارات (Trajectory Processor): كيسجل QwenGyre عبر وكيل كل استدعاء للنموذج، بما فيه بدقة معرّفات token ديال الإدخال والإخراج والاحتمالات اللوغاريتمية ديال سياسة السلوك. كيعيد استعمال البادئات المشتركة، وكيبني فروعاً فمواضع الانقسام، وكيجمع كلشي فشجرة مسارات باش يضمن أن كل خرج مرتبط دائماً بالسياق الأصلي اللي تولّد فيه. فمرحلة قبول التدريب، كيختار لكل تنفيذ، حسب أولوية الأدوار، ما لا يتجاوز Jmax مساراً. غير token اللي ولّدها نموذج السياسة كتدخل فالخسارة، والهدف المشترك كيتحسب مرة وحدة. كتتحسب الخسارة أولاً بمتوسط token المختارة داخل كل تنفيذ، ومن بعد بمتوسط التنفيذات، وبهذا كيولي وزن التنفيذ مستقل على عدد الفروع ديالو. ومع Partial Scoring، كيتم تقييم الأجزاء المكتملة من المهام اللي سالا وقتها، باش يتم استغلال أكبر قدر من الإشارات الفعالة، رغم أنها قليلة ومكلفة، فالتنفيذات الطويلة بزاف.

حالياً، QwenGyre منشور فشكل ورقة علمية، وعلي بابا مازال ما نشرتش الكود ولا حزمة التثبيت.

أول تنفيذ للتعلّم المعزّز عبر الإنترنت على نموذج رائد فمهام طويلة بزاف: تدار RL عبر الإنترنت على Qwen3.8-2.4T لمهمة كتستعمل تقريباً 700 ألف token فكل تشغيل، وارتفعت نسبة النجاح فـ NL2RepoBench من 52.48% حتى 58.54% خلال 48 خطوة.
تحسين كبير ففعالية التدريب: بنفس ميزانية GPU، وصل التسريع من البداية للنهاية حتى 1.78× مقارنةً بـ Async و1.85× مقارنةً بـ Colocate، ونقص وقت التدريب ديال 48 خطوة من 134.55 ساعة حتى 75.42 ساعة.
جدولة مرنة بلا ما توقف المهام: ملي كتبدل وحدات GPU بين أخذ العينات والتدريب، كيبقاو تنفيذ الوكيل ومساحة العمل وحالة الأدوات محفوظين بالكامل، وكيستغرق التبديل غير ثواني قليلة، وهو وقت يمكن تجاهلو مقارنةً بتنفيذ كيدوم ساعات.
استغلال أقصى لوحدات GPU: التوزيع الدقيق للموارد على مستوى الخلايا كيلغي الانتظار الطويل والتعطّل فطريقة Colocate والجمود ديال التقسيم الثابت فطريقة Async، وكيقدر التدريب يختبئ بالكامل وراء أخذ العينات.
تدريب محافظ على السياق الحقيقي: آلية TITO كتضمن أن كل خرج مرتبط بالسياق الأصلي اللي تولّد فيه، وكتتفادى إشارات التدريب المبنية على “سياق زائف” ناتج عن ضغط التاريخ أو دمج سياقات الوكلاء الفرعيين.

الورقة التقنية فـ arXiv: https://arxiv.org/pdf/2609.33848

توليد مستودع كود كامل انطلاقاً من اللغة الطبيعية: بناء مستودع برمجي متعدد الحزم من الصفر حسب مواصفات مكتوبة باللغة الطبيعية، فتنفيذ واحد كيستعمل تقريباً 700 ألف token وكيستمر حتى لساعات.
هندسة برمجيات طويلة المدى داخل مستودعات موجودة: إنجاز تطوير وظائف جديدة، وإصلاح العيوب، وتعديلات معقدة عبر ملفات متعددة داخل قاعدة كود موجودة.
أتمتة متعددة الجولات فواجهة الأوامر: كينفذ الوكيل مئات الاستدعاءات المتتالية للأدوات فبيئة سطر الأوامر، لإنجاز مهام إعداد الأنظمة وتشغيلها وصيانتها.
إعادة هيكلة وترحيل قواعد كود كبيرة: ترقية حزمة التقنيات عبر مستودعات متعددة، وإعادة هيكلة شاملة، ومهام هندسية أخرى كتحتاج تخطيطاً وتنفيذاً متواصلين لساعات.
مهام تعاون متعددة الوكلاء: سيناريوهات تنفيذ هرمية كيكلّف فيها الوكيل الرئيسي وكلاء فرعيين بالمهام، ومعالجة المسارات كتستغل بنية الفروع للتحكم فتكلفة تدريب المهام الفرعية.