ہواوے نے آج اعلان کیا کہ Pangu کے 5050 کروڑ پیرامیٹرز پر مشتمل openPangu-2.0-Pro ماڈل (ماڈل وزن اور بنیادی استدلالی کوڈ) اور تکنیکی رپورٹ باضابطہ طور پر اوپن سورس جاری کر دیے گئے ہیں۔
اوپن سورس Pangu openPangu، ہواوے کا اوپن سورس AI ماڈل برانڈ ہے، جو Ascend کی مقامی ٹریننگ اور استدلالی ٹیکنالوجی کے ذریعے صنعت کو Ascend کے مؤثر استعمال کے لیے بہترین عملی حوالے فراہم کرنے کے لیے وقف ہے۔
openPangu-2.0-Pro ایک بڑے پیمانے کا مکسڈ ایکسپرٹس (MoE) زبان ماڈل ہے، جسے Ascend NPU پر تربیت دی گئی ہے۔ اس کے پیرامیٹرز کی تعداد تقریباً 505B ہے، جبکہ ہر token پر فعال پیرامیٹرز تقریباً 18B ہیں۔ ماڈل 512k کانٹیکسٹ لمبائی کو سپورٹ کرتا ہے، اور تربیتی ڈیٹا کی کل مقدار تقریباً 34T tokens ہے۔ تربیت کے بعد کے مرحلے میں تیز اور سست طریقوں کو یکجا کرنے والی فائن ٹیوننگ (SFT) اور متعدد خصوصی تقویتی سیکھنے (RL) کے مراحل مکمل کیے گئے، جبکہ آن لائن ڈسٹلیشن (OPD) کے ذریعے صلاحیتوں کو یکجا کیا گیا۔
openPangu-2.0-Pro نے ماڈل کے آرکیٹیکچر میں جامع اپ گریڈ کیے ہیں:
Attention آرکیٹیکچر: مؤثر MLA کو برقرار رکھتے ہوئے DSA+SWA آزاد درجہ بہ درجہ مخلوط آرکیٹیکچر اپنایا گیا ہے، جس میں تہوں کا تناسب 1:2 ہے۔ SWA تہہ مقامی ونڈو ماڈلنگ کی ذمہ دار ہے، جبکہ DSA تہہ sparse عالمی تجمیع انجام دیتی ہے۔ اس طرح درستگی برقرار رکھتے ہوئے طویل سلسلوں کے استدلال میں حساب، ویڈیو میموری اور میموری رسائی کے اخراجات نمایاں طور پر کم ہوتے ہیں۔
Topology آرکیٹیکچر: روایتی residual کنکشن کو 4-فریقی mHC آرکیٹیکچر میں اپ گریڈ کیا گیا ہے، جس سے نمائندگی کا تنوع اور عمومی کارکردگی بہتر ہوتی ہے۔
خودکار قیاسی ماڈیول: 3-head MTP آرکیٹیکچر اپنایا گیا ہے، جو ہر بار اضافی طور پر 3 tokens کی پیش گوئی کرتا ہے اور ماڈل کی استدلالی رفتار کو نمایاں طور پر بڑھاتا ہے۔
Muon optimizer: تربیت کے دوران Muon optimizer استعمال کیا گیا، جس سے تیز تر convergence حاصل ہوئی۔
اس سال جون میں ہواوے ڈویلپر کانفرنس HDC 2026 کے کلیدی خطاب میں ہواوے کے ایگزیکٹو ڈائریکٹر، پروڈکٹ انویسٹمنٹ ریویو کمیٹی کے سربراہ اور ٹرمینل BG کے چیئرمین یو چنگ ڈونگ نے اعلان کیا کہ openPangu 2.0 کے 7 بڑے اجزا 30 جون سے مرحلہ وار اوپن سورس کیے جائیں گے، جن میں نئے اوپن سورس پری ٹریننگ کوڈ، پوسٹ ٹریننگ کوڈ اور ٹریننگ آپریٹرز شامل ہیں۔
30 جون کو 92B پیرامیٹرز والا openPangu-2.0-Flash ماڈل باضابطہ طور پر اوپن سورس جاری کر دیا گیا۔
openPangu-2.0-Pro کے کل پیرامیٹرز صرف 505B ہونے کے بارے میں یو چنگ ڈونگ نے پہلے وضاحت کی تھی کہ کمپیوٹنگ پاور کا بڑا حصہ ملک کی دیگر کمپنیوں کی ضروریات پوری کرنے میں استعمال ہو رہا ہے، اس لیے ہواوے کے پاس بہت محدود مقدار باقی رہتی ہے۔ مزید یہ کہ AI کمپیوٹنگ کی لاگت بہت زیادہ ہے، اور ہواوے تاخیر اور تھروپٹ بہتر بنانے پر زیادہ توجہ دیتا ہے۔
openPangu-2.0 ماڈل سے متعلق اجزا مرحلہ وار اوپن سورس پلیٹ فارم پر جاری کیے جا رہے ہیں۔ اوپن سورس لنک:
https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro