هواوي أعلنت اليوم على فتح موديل بانغو openPangu-2.0-Pro بـ5050 مليار بارامتر للمصدر، مع أوزان الموديل وكود الاستدلال الأساسي، وزيد عليهم التقرير التقني.
openPangu هو العلامة التجارية ديال موديلات الذكاء الاصطناعي مفتوحة المصدر ديال هواوي، وكيهدف يوفّر للقطاع أحسن الممارسات للاستفادة من Ascend، بفضل تقنيات التدريب والاستدلال الأصلية على Ascend.
openPangu-2.0-Pro هو موديل لغوي كبير من نوع الخبراء المتعددين (MoE)، تدرّب باستعمال NPU ديال Ascend. الحجم ديالو تقريباً 505B بارامتر، والحجم ديال البارامترات المفعّلة فكل token كيوصل تقريباً لـ18B. الموديل كيدعم سياق بطول 512k، وإجمالي بيانات التدريب كيوصل تقريباً لـ34T tokens. فمرحلة ما بعد التدريب، تدار الضبط الدقيق الموحّد بين السرعة والجودة (SFT)، والتعلّم المعزّز فمجالات متعددة (RL)، ومن بعد توحّدت القدرات باستعمال التقطير عبر الإنترنت (OPD).
openPangu-2.0-Pro عرف ترقية شاملة فبنية الموديل:
بنية Attention: بقات محافظة على MLA الفعّالة، واعتمدات بنية هجينة مستقلة ومقسّمة على الطبقات من نوع DSA+SWA، بنسبة طبقات 1:2؛ طبقات SWA مسؤولة على نمذجة النوافذ المحلية، وطبقات DSA مسؤولة على التجميع العالمي المتناثر، وهاد الشي كيخفّض بشكل كبير كلفة الحساب والذاكرة الفيديوية وولوج الذاكرة أثناء الاستدلال فالسلاسل الطويلة، مع الحفاظ على الدقة.
البنية الطوبولوجية: تم ترقية الربط التقليدي ديال البقايا لبنية mHC بأربع مسارات، باش تتحسّن تنوّعية التمثيل وقدرة التعميم.
وحدة التخمين الذاتي: تم اعتماد بنية MTP بـ3 رؤوس، كتتنبأ مرة وحدة بـ3 tokens إضافية، وكتحسّن بشكل كبير سرعة الاستدلال ديال الموديل.
مُحسّن Muon: تستعمل فالتدريب مُحسّن Muon، وهاد الشي كيوفّر سرعة تقارب أكبر.
فالكلمة الرئيسية ديال مؤتمر مطوّري هواوي HDC 2026 فشهر يونيو هاد العام، أعلن يو تشنغدونغ، العضو الإداري الدائم فهواوي ورئيس لجنة مراجعة استثمارات المنتجات ورئيس مجلس إدارة قطاع الأجهزة الطرفية BG، أن خطة openPangu 2.0 غادي تفتح تدريجياً 7 مكوّنات للمصدر ابتداءً من 30 يونيو، ومن بينها كود التدريب القبلي، وكود ما بعد التدريب، ومشغّلات التدريب اللي تفتحو جديد.
فـ30 يونيو، تفتح رسمياً موديل openPangu-2.0-Flash بـ92B بارامتر للمصدر.
وبخصوص openPangu-2.0-Pro، اللي عندو غير 505B بارامتر فالمجموع، سبق ليو تشنغدونغ وشرح أن جزء كبير من القدرة الحوسبية كيدعم احتياجات شركات أخرى داخل البلاد، وبالتالي فالكمية اللي خلاتها هواوي لنفسها محدودة بزاف؛ وزيد على هاد الشي، تكلفة القدرة الحوسبية ديال الذكاء الاصطناعي مرتفعة بزاف، وهواوي مركّزة أكثر على تحسين زمن الاستجابة ومعدل المعالجة.
المكوّنات المرتبطة بموديل openPangu-2.0 كيتنشروا تدريجياً فمواقع المصدر المفتوح، والعنوان هو:
https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro