التعلّم المعزّز ولى من بين النماذج الرئيسية فتدريب النماذج الكبيرة، وكيعاون فدفع تقنيات النماذج نحو التطبيق الهندسي فالمجالات الأساسية ديال القطاعات. ومن بين النقط المهمة بزاف كاين التناسق بين التدريب والاستدلال، حيث إن الترابط بين عمليتي الاستدلال والتدريب كيخلّي الاختلافات فالبنية التحتية تكبّر من عدم اليقين.
أعلنت هواوي للحوسبة رسمياً نهار 5 غشت بلي Ascend وفّر، بالاعتماد على لغة البرمجة Ascend C، مجموعة كاملة ديال العمليات الحسابية الخاصة بالتناسق بين التدريب والاستدلال. وفاختبارات نموذج Qwen3-30B MoE، وصل Logdiff لـ 0، ومع تحسين عمليات FA المتوافقة مع Ascend، تحقق ربح فالأداء بين 20% و60% فـ Eager mode، باش يوفّر للمطوّرين حل فعّال وموثوق لتدريب التعلّم المعزّز.
السبب الجوهري لعدم التناسق بين التدريب والاستدلال فمرحلة ما بعد التدريب ديال RL هو أن الجمع فالحسابات الأساسية ما كيتحافظش فيه على الترتيب. ولضمان نفس ترتيب الجمع فكل مرة بين محرك التدريب ومحرك الاستدلال من الفوق للتحت، خاص كل من جهة الإطار البرمجي وجهة العمليات الحسابية يخدمو بجوج. وكلما كبرات معلمات النموذج، كيتضخم المشكل أكثر: استراتيجيات التقسيم بحال التوازي ديال التنسورات والتوازي ديال الخبراء، ومسارات الاتصال الجماعي، إلا ما كانش التطابق فشي مرحلة منها، ما يمكنش نوصلو فالنهاية لـ true-on-policy. وزايد على هاد الشي، خاص العمليات الحسابية تغطي بزاف ديال سيناريوهات الاستدعاء، وتفرض قيود فخطوات الحساب الأساسية، مع التحكم فخسارة الأداء باش تبقى فحدود قابلة للاستعمال. هادي تحدّيات هندسية على مستوى النظام كامل.
عدم التناسق بين التدريب والاستدلال كيعني الاختلاف العددي بين محرك Rollout (الاستدلال) ومحرك التدريب. حتى إلا استعملو بجوج نفس أوزان النموذج بالضبط، الاحتمال اللوغاريتمي (logprob) المحسوب لنفس سلسلة Token يقدر يكون فيه فرق صغير؛ وهاد الفرق كيتقاس غالباً بـ logdiff.
دار Ascend، بالاعتماد على لغة البرمجة Ascend C، قيود ومحاذاة منهجية للعمليات الحسابية الأساسية فمسار التدريب والاستدلال. والفكرة الرئيسية هي أن التدريب والاستدلال يدوزو من نفس المسار العددي فـ«البلايص اللي خاص فيها الجمع»، وهاد الشي كيشمل 4 تعديلات أساسية:
توحيد دلالة الانتباه: محاذاة مجال الحساب فالمواضع الفعّالة بين Softmax ديال قناع التدريب والانتباه التدريجي ديال الاستدلال، وحذف الفروقات العددية الناتجة عن اختلاف مجموعة Tokens المرئية.
تثبيت ترتيب الجمع فـ reduce: فرض قيود على التقسيم وترتيب الاختزال فالأبعاد المختزَلة بين FA ديال التدريب وPFA / PagedAttention ديال الاستدلال، وتفادي عدم الحفاظ على ترتيب الجمع الناتج عن «نفس القالب مع تقسيم مختلف».
محاذاة استراتيجية تقسيم Softmax الفوري: توحيد حجم التقسيم وإيقاع الاختزال، وتفادي الاختلاف بين دمج Softmax على عدة كتل فجهة decoder وSoftmax المقسّم فجهة التدريب.
محاذاة دقة المسار الأساسي: توحيد استراتيجية تحويل الدقة فالمراحل الحساسة بحال جمع Softmax، وتقليل أخطاء الجزء العشري الناتجة عن الاختلافات فتنفيذ الدقة المختلطة.
ومن بعد، مع تحسينات فإرسال وجدولة FA، ما بقاش التناسق بين التدريب والاستدلال كيتحقق على حساب تراجع كبير فالأداء، وبهذا قدرات الاختبارات العملية تجمع بين logdiff=0 وتسريع من البداية للنهاية.
وأعلنت هواوي بلي البنية التحتية المعنية ولات مفتوحة المصدر، وغادي تطلق حتى “Skill للتعرّف على مشاكل التناسق بين التدريب والاستدلال”، باش تعاون ففحص logdiff المتبقي وتحديد واش المشكل فمسار العمليات الحسابية ولا فاختلافات تنفيذ الإطار البرمجي.
رابط المصدر المفتوح:
https://github.com/verl-project/verl-ascend-recipe/tree/main/true_on_policy