文心5.5 Flash Base آپریشن میں

文心5.5 Flash Base بیدو کا اوپن سورس کردہ جدید ترین بنیادی ماڈل ہے۔ یہ اسپارس MoE آرکیٹیکچر استعمال کرتا ہے، جس میں کل 2800 ارب پیرامیٹرز ہیں، ہر ٹوکن پر 140 ارب پیرامیٹرز فعال ہوتے ہیں، اسے 33.5 ٹریلین ٹوکنز پر پری ٹرین کیا گیا ہے، اور یہ 100万 ٹوکنز کے کانٹیکسٹ کو سپورٹ کرتا ہے۔ 文心5.5 Flash Base کارکردگی میں جدت پر مرکوز ہے: اسپارس اٹینشن طویل متن کی لاگت کم کرتی ہے، ملٹی روٹر MoE روٹنگ کو بہتر بناتا ہے، جبکہ ECHO بیک بون کی آخری تہہ کو دوبارہ استعمال کرکے آئندہ ٹوکنز کی پیش گوئی کرتا ہے۔ حکام کے مطابق متعدد بینچ مارکس میں یہ ہم سائز ماڈلز کا SOTA ہے اور HuggingFace پر دستیاب ہے۔

اعلیٰ کارکردگی والا ٹیکسٹ بیس ماڈل: 2800 ارب کل پیرامیٹرز پر مشتمل اسپارس MoE، جس میں ہر ٹوکن پر صرف 140 ارب پیرامیٹرز فعال ہوتے ہیں، اور ہم سائز ماڈلز کی SOTA عمومی ٹیکسٹ صلاحیت فراہم کرتا ہے۔
انتہائی طویل کانٹیکسٹ: پری ٹریننگ کانٹیکسٹ 128K ہے، جبکہ فائن ٹیوننگ اور inference میں زیادہ سے زیادہ 100万 ٹوکنز سپورٹ ہوتے ہیں۔
جامع صلاحیتیں: علم، استدلال، ریاضی، کوڈ، کثیر لسانی صلاحیت اور طویل کانٹیکسٹ سمیت مختلف بینچ مارکس میں ہم سائز ماڈلز میں بہترین کارکردگی۔
اوپن سورس اور قابل تخصیص: FP8 اور BF16 دونوں ورژنز کے وزن HuggingFace پر دستیاب ہیں، جنہیں ڈویلپرز اور ادارے فائن ٹیون کرکے خصوصی ماڈلز بنا سکتے ہیں۔
مکمل inference ایکو سسٹم: حکام کی جانب سے vLLM پلگ اِن، SGLang Cookbook اور Megatron-Bridge فائن ٹیوننگ مثالیں فراہم کی گئی ہیں۔

WeChat پر فالو کرکے “开源” کا جواب دیں اور AI اوپن سورس پروجیکٹس کے گروپ میں شامل ہوں
Latent-Gated Sparse Attention: ہیوی کمپریسڈ اٹینشن (HCA) اور ملٹی ہیڈ لیٹنٹ اٹینشن (MLA) کو ایک تقسیم شدہ آرکیٹیکچر میں ملاتا ہے۔ 37 تہیں 128 گنا کمپریس شدہ سیکوئنس پر تاریخی معلومات پراسیس کرتی ہیں، جبکہ صرف 6 تہیں باریک سطح کی retrieval کی ذمہ دار ہیں، جس سے طویل کانٹیکسٹ کے KV Cache کی لاگت نمایاں طور پر کم ہوتی ہے؛ لو رینک گیٹڈ اٹینشن، اٹینشن تہہ کے خود تیار کردہ لو رینک query latent کو دوبارہ استعمال کرکے آؤٹ پٹ گیٹ کا حساب کرتی ہے، جس سے گیٹنگ پروجیکشن کے پیرامیٹرز 75% کم اور کارکردگی بہتر ہوتی ہے؛ ورچوئل ہیڈ اٹینشن (VHA) ٹریننگ کے دوران اظہار کی صلاحیت بڑھاتی ہے اور inference کے دوران اٹینشن آپریٹر میں ضم ہوجاتی ہے، اس لیے اضافی لاگت نہایت کم رہتی ہے۔
Multi-Router Latent MoE: متعدد آزاد روٹرز مشترکہ طور پر ماہرین کے انتخاب میں حصہ لیتے ہیں، جس سے روٹنگ اسکور اور ماہر کی حقیقی افادیت کے باہمی تعلق میں بہتری آتی ہے، واحد اسکور کے تعصب کا راستے کے انتخاب پر اثر کم ہوتا ہے، جبکہ فعال ماہرین کی تعداد، ماہرین کی computation اور کمیونیکیشن کی مقدار میں کوئی تبدیلی نہیں آتی۔
ECHO ٹریننگ ہدف: اضافی MTP ماڈیول شامل کرنے کے بجائے بیک بون کی آخری تہہ کو دوبارہ استعمال کرتا ہے تاکہ ماڈل خود آئندہ ٹوکنز کی پیش گوئی سیکھے، سیکوئنس کی سمت پہلے سے طے کرے اور inference و کوڈ کی صلاحیت بہتر بنائے؛ دوبارہ استعمال کی گئی تہہ speculative decoding کے draft ماڈل کے طور پر براہِ راست کام کرسکتی ہے۔ صرف ایک مرحلے کی ٹریننگ کے باوجود یہ متعدد مراحل کی extrapolation صلاحیت دکھاتی ہے، اور اس کا draft معیار معاون MTP ماڈیول سے نمایاں طور پر بہتر ہے۔
ٹریننگ سسٹم کی اصلاح: تقسیم شدہ Muon optimizer، Dense اور MoE پیرامیٹرز کے درمیان بین ال machine کمیونیکیشن کو ایک collective communication میں ضم کرتا ہے، جبکہ FP8 مخلوط precision بڑے پیمانے کی ٹریننگ کی کارکردگی بہتر بناتی ہے؛ خود تیار کردہ FlashMask-4 اٹینشن آپریٹر CuTe-DSL پر مبنی ہے، SM90/SM100 آرکیٹیکچر اور زیادہ سے زیادہ 576 dimensions والے head dim کو سپورٹ کرتا ہے، اور HCA تہہ کی wide-head computation کے لیے براہِ راست موزوں ہے۔

ہارڈویئر ماحول تیار کریں: ماڈل میں کل 2800 ارب پیرامیٹرز ہیں۔ FP8 کوانٹائزڈ وزن بھی تقریباً 280GB کے ہوتے ہیں، اس لیے متعدد اعلیٰ درجے کے GPUs، مثلاً H سیریز کے SM90/SM100 آرکیٹیکچر والے سرور، درکار ہیں؛ ایک GPU کافی نہیں ہوگا۔
ماڈل کے وزن ڈاؤن لوڈ کریں: HuggingFace سے سرکاری repository حاصل کریں اور ضرورت کے مطابق FP8 ورژن (baidu/ERNIE-5.5-Flash-Base) یا BF16 ورژن منتخب کریں۔ مثال: huggingface-cli download baidu/ERNIE-5.5-Flash-Base --local-dir ./ernie-base۔
Inference framework انسٹال کریں: اس کے اسپارس اٹینشن آرکیٹیکچر کے لیے بیدو کا سرکاری vLLM پلگ اِن (baidu/vLLM-ERNIE) تعینات کریں، یا سرکاری SGLang Cookbook استعمال کریں۔
Inference سروس شروع کریں: vllm serve کو مقامی وزن کے راستے کی طرف اشارہ کرتے ہوئے چلائیں، GPUs کی تعداد کے مطابق --tensor-parallel-size مقرر کریں اور --enable-expert-parallel فعال کریں۔ سروس شروع ہونے کے بعد OpenAI-compatible interface دستیاب ہوگا۔
کال بھیجیں: معیاری OpenAI API format کے ذریعے مقامی پورٹ کو request بھیجیں۔ زیادہ سے زیادہ 100万 ٹوکنز کا کانٹیکسٹ ترتیب دیا جاسکتا ہے، جبکہ --max-model-len کو دستیاب GPU memory کے مطابق ایڈجسٹ کریں۔
فائن ٹیوننگ اور تخصیص: سرکاری Megatron-Bridge مثال کی بنیاد پر domain-specific continued pre-training یا SFT کریں۔

انتہائی مؤثر inference: 2800 ارب کل پیرامیٹرز والا اسپارس MoE آرکیٹیکچر ہر ٹوکن پر صرف 140 ارب پیرامیٹرز فعال کرتا ہے، جس سے نہایت کم computation لاگت میں انتہائی بڑے ماڈل کی گنجائش حاصل ہوتی ہے۔
انتہائی طویل کانٹیکسٹ کی صلاحیت: پری ٹریننگ کانٹیکسٹ 128K ہے، جبکہ فائن ٹیوننگ اور inference میں زیادہ سے زیادہ 100万 ٹوکنز سپورٹ ہوتے ہیں، جس سے طویل متون کی پراسیسنگ کے وسائل کی لاگت نمایاں طور پر کم ہوتی ہے۔
ہم سائز ماڈلز میں بہترین کارکردگی: سرکاری جائزوں کے مطابق علم، استدلال، ریاضی، کوڈ، کثیر لسانی صلاحیت اور طویل کانٹیکسٹ سمیت 30 بینچ مارکس میں ہم سائز ماڈلز کی SOTA کارکردگی حاصل کی گئی ہے۔
جامع کارکردگی کی جدت: Latent-Gated اسپارس اٹینشن، ملٹی روٹر MoE اور ECHO ٹریننگ ہدف، اٹینشن، روٹنگ اور ٹریننگ ہدف کے تینوں مراحل کو مربوط طور پر بہتر بناتے ہیں۔
مکمل انجینئرنگ انفراسٹرکچر: تقسیم شدہ Muon optimizer، FP8 مخلوط precision اور خود تیار کردہ FlashMask-4 آپریٹر بڑے پیمانے کی ٹریننگ اور inference کی کارکردگی کو یقینی بناتے ہیں۔

پروجیکٹ کی سرکاری ویب سائٹ：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
HuggingFace ماڈل repository：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

طویل دستاویزات کی گہری پراسیسنگ: زیادہ سے زیادہ 100万 ٹوکنز کے کانٹیکسٹ کی بدولت ایک ہی بار میں مکمل قانونی معاہدے، مالیاتی رپورٹس، مقالوں کے مجموعے یا کوڈ repository کو پراسیس کیا جاسکتا ہے، جس سے مکمل متن کا خلاصہ، ابواب کے درمیان سوال و جواب اور معلومات کا اخراج ممکن ہے۔
کوڈ تحقیق و ترقی میں معاونت: نمایاں کوڈ صلاحیت اور انتہائی طویل کانٹیکسٹ کے ذریعے یہ پورے repository کے ڈھانچے کو سمجھ کر کوڈ تیار کرسکتا ہے، refactoring تجاویز دے سکتا ہے اور متعدد فائلوں میں نقائص کا تجزیہ کرسکتا ہے۔
شعبہ جاتی ماڈل کی تخصیص: post-training کے بغیر اوپن سورس بنیادی ماڈل کے طور پر ادارے اپنے صنعتی corpus کی بنیاد پر فائن ٹیوننگ کرکے قانون، مالیات، طب اور دیگر خصوصی شعبوں کے ماڈلز بنا سکتے ہیں۔
کثیر لسانی مواد کی پراسیسنگ: کثیر لسانی صلاحیت ہم سائز ماڈلز کی SOTA سطح تک پہنچتی ہے، اس لیے یہ بین اللسانی دستاویز ترجمہ، بین الاقوامی مواد کی جانچ اور عالمی علمی repository کے سوال و جواب کے لیے موزوں ہے۔