ERNIE 5.5 Flash Base خدام

ERNIE 5.5 Flash Base هو أحدث موديل أساسي مفتوح المصدر من Baidu، مبني بهندسة MoE متفرقة، بإجمالي 280 مليار بارامتر وتفعيل 14 مليار بارامتر لكل token، وتدرّب على 33.5 تريليون token، مع دعم سياق حتى لـ1 مليون token. كيركّز ERNIE 5.5 Flash Base على الابتكار فالكفاءة: الانتباه المتفرق كينقص تكلفة النصوص الطويلة، وMoE متعدد الموجّهات كيحسّن التوجيه، بينما ECHO كيعيد استعمال الطبقة الأخيرة من العمود الفقري للتنبؤ بالـtokens اللاحقة. وكيقول المصدر الرسمي إن الموديل حقق SOTA فعدة اختبارات مقارنة ضمن نفس الحجم، وراه متوفر فـHuggingFace.

موديل نصي أساسي عالي الأداء: MoE متفرق بإجمالي 280 مليار بارامتر، وما كيتفعّل غير 14 مليار بارامتر فكل token، وكيقدم قدرات نصية عامة بمستوى SOTA ضمن نفس الحجم.
سياق طويل بزاف: سياق التدريب المسبق هو 128K، والتخصيص والاستدلال كيدعمو حتى لـ1 مليون token.
تغطية شاملة للقدرات: كيوصل لأفضل أداء بين الموديلات من نفس الحجم فاختبارات المعرفة، والاستدلال، والرياضيات، والبرمجة، وتعدد اللغات، والسياق الطويل.
مفتوح وقابل للتخصيص: أوزان FP8 وBF16 متوفرة فـHuggingFace، باش يستعملوها المطورين والشركات فالتخصيص وبناء موديلات متخصصة.
منظومة استدلال متكاملة: المصدر الرسمي كيوفر إضافة vLLM، وSGLang Cookbook، وأمثلة للتخصيص باستعمال Megatron-Bridge.

تابع WeChat وردّ بـ“مفتوح المصدر” باش تنضم لمجموعة نقاش مشاريع الذكاء الاصطناعي مفتوحة المصدر
Latent-Gated Sparse Attention: كيجمع بين الانتباه المضغوط بشكل كبير (HCA) والانتباه الكامن متعدد الرؤوس (MLA) فهندسة مقسّمة للمهام؛ 37 طبقة كتعالج المعلومات السابقة فوق تسلسل مضغوط 128 مرة، بينما غير 6 طبقات مسؤولة على الاسترجاع الدقيق، وهادشي كينقص بزاف تكلفة KV Cache فالسياقات الطويلة؛ والانتباه المُوجّه منخفض الرتبة كيعيد استعمال low-rank query latent اللي كتولدو طبقة الانتباه نفسها لحساب بوابة الإخراج، وكيقلّل عدد بارامترات إسقاط البوابة بـ75% مع تحسن الأداء؛ أما Virtual Head Attention (VHA) فكيقوّي القدرة التعبيرية أثناء التدريب، وكيندمج فمشغّل الانتباه أثناء الاستدلال، بتكلفة إضافية ضئيلة بزاف.
Multi-Router Latent MoE: عدة موجّهات مستقلة كتشترك فاختيار الخبراء، وهادشي كيحسّن العلاقة بين نقاط التوجيه والمنفعة الفعلية ديال الخبراء، وكيقلّل تأثير انحياز نقطة واحدة على اختيار المسار، مع الحفاظ على نفس عدد الخبراء المفعّلين، وحجم حسابات الخبراء، وحجم التواصل.
هدف التدريب ECHO: ما كيزيدش وحدة MTP بشكل إضافي، بل كيعيد استعمال آخر طبقة من العمود الفقري باش يتعلم الموديل بوحدو يتنبأ بالـtokens اللاحقة، ويخطط مسبقاً لاتجاه التسلسل، ويحسّن قدرات الاستدلال والبرمجة؛ ويمكن للطبقة المعاد استعمالها أنها تخدم مباشرة كموديل مسودة لفك الترميز التخميني، بحيث يقدر تدريب خطوة واحدة يبيّن قدرة على الاستقراء لعدة خطوات، وجودة المسودة كتفوق بزاف وحدة MTP المساعدة.
تحسينات نظام التدريب: محسن Muon الموزع كيدمج التواصل بين الأجهزة لمعلمات Dense وMoE فعملية جماعية وحدة، ومع الدقة المختلطة FP8 كيرفع كفاءة التدريب واسع النطاق؛ ومشغّل الانتباه المطوّر داخلياً FlashMask-4 المبني على CuTe-DSL كيدعم بنيتي SM90 وSM100، وhead dim حتى لـ576، وكيواكب مباشرة حسابات الرؤوس الواسعة فطبقة HCA.

وجد البيئة العتادية: الموديل فيه 280 مليار بارامتر، وحتى أوزان FP8 المكمّمة كتحتاج تقريباً 280GB، لذلك خاصك سيرفر فيه عدة بطاقات GPU عالية المستوى، بحال H-series وبنيات SM90/SM100؛ بطاقة وحدة ما كافياش.
نزّل أوزان الموديل: حمّل المستودع الرسمي من HuggingFace، واختار حسب الحاجة نسخة FP8 ‏(baidu/ERNIE-5.5-Flash-Base) أو نسخة BF16، مثلاً: huggingface-cli download baidu/ERNIE-5.5-Flash-Base --local-dir ./ernie-base.
ثبّت إطار الاستدلال: ركّب إضافة vLLM الرسمية ديال Baidu ‏(baidu/vLLM-ERNIE) باش تتوافق مع هندسة الانتباه المتفرق، أو استعمل SGLang Cookbook الرسمي.
شغّل خدمة الاستدلال: شغّل vllm serve مع تحديد مسار الأوزان المحلية، وضبط --tensor-parallel-size حسب عدد البطاقات، وتفعيل --enable-expert-parallel؛ من بعد تشغيل الخدمة كتولي واجهة متوافقة مع OpenAI متاحة.
بدا الاستدعاء: صيفط الطلبات للمنفذ المحلي بصيغة OpenAI API العادية، وتقدر تضبط سياق حتى لـ1 مليون token كحد أقصى، حسب الذاكرة المرئية، عبر --max-model-len.
التخصيص بالتدريب: اعتمد على مثال Megatron-Bridge الرسمي فالتدريب المسبق المستمر على بيانات المجال أو SFT.

كفاءة استدلال عالية بزاف: هندسة MoE متفرقة بإجمالي 280 مليار بارامتر، ولكن كتفعّل غير 14 مليار بارامتر فكل token، وكتوفر سعة موديل ضخمة بتكلفة حسابية منخفضة بزاف.
قدرة على السياق الطويل بزاف: سياق التدريب المسبق هو 128K، والتخصيص والاستدلال كيدعمو حتى لـ1 مليون token، مع تقليل كبير فتكلفة موارد معالجة النصوص الطويلة.
أقوى أداء ضمن نفس الحجم: حسب التقييم الرسمي، حقق الموديل SOTA ضمن نفس الحجم فـ30 اختباراً معيارياً فالمعرفة، والاستدلال، والرياضيات، والبرمجة، وتعدد اللغات، والسياق الطويل.
ابتكار منهجي فالكفاءة: الانتباه المتفرق Latent-Gated، وMoE متعدد الموجّهات، وهدف التدريب ECHO كيتعاونو على التحسين فثلاث مراحل: الانتباه، والتوجيه، وهدف التدريب.
بنية هندسية متكاملة: محسن Muon الموزع، والدقة المختلطة FP8، ومشغّل FlashMask-4 المطوّر داخلياً كيوفرو كفاءة عالية فالتدريب والاستدلال واسع النطاق.

الموقع الرسمي للمشروع: https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
مستودع الموديل فـHuggingFace: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

المعالجة العميقة للوثائق الطويلة: بفضل سياق حتى لـ1 مليون token، يقدر يعالج مرة وحدة عقداً قانونية كاملة، أو تقارير مالية، أو مجموعات أبحاث، أو مستودعات برمجية، ويدير تلخيصاً شاملاً، وأسئلة وأجوبة بين الفصول، واستخراج المعلومات.
المساعدة فالبحث والتطوير البرمجي: بفضل قدراته القوية فالبرمجة والسياق الطويل بزاف، يقدر يفهم بنية المستودع كاملة ويدير توليد الكود، واقتراحات إعادة الهيكلة، وتحليل العيوب بين الملفات.
تخصيص موديلات المجال: باعتباره قاعدة مفتوحة المصدر ما دازتش من تدريب لاحق، تقدر الشركات تخصصه باستعمال بيانات القطاع ديالها، وتبني موديلات متخصصة فالقانون، والمالية، والطب، وغيرها.
معالجة المحتوى متعدد اللغات: قدراته متعددة اللغات وصلات لـSOTA ضمن نفس الحجم، وكيصلح لترجمة الوثائق بين اللغات، ومراجعة المحتوى متعدد اللغات، والأسئلة والأجوبة فمستودعات المعرفة العالمية.