علی بابا کلاؤڈ نے آج اعلان کیا کہ Lingjun Zhenwu M890 سپر نوڈ انسٹنس نے 2.8 ٹریلین پیرامیٹرز والے بڑے ماڈل Kimi K3 کے ساتھ کامیاب موافقت حاصل کر لی ہے۔ چپ، انفیرنس پلیٹ فارم اور ماڈل کی مشترکہ اصلاح کے ذریعے ماڈل کی انفیرنس کارکردگی مؤثر طور پر بہتر ہوئی ہے۔
IT ہوم کو معلوم ہوا ہے کہ Kimi K3، Moonshot AI کا تازہ ترین فلیگ شپ ماڈل ہے، جس کے پیرامیٹرز کی تعداد 2.8 ٹریلین ہے اور یہ مکسڈ ایکسپرٹس (MoE) آرکیٹیکچر استعمال کرتا ہے۔
دوسری جانب، Lingjun Zhenwu سپر نوڈ انسٹنس Hanguang AI ٹریننگ و انفیرنس چپ Zhenwu M890 کی بنیاد پر تیار کیا گیا ہے۔ اس میں ICN Switch 1.0 انٹرکنیکٹ چپ موجود ہے، جو 64 M890 چپس کے درمیان 800 GB/s کی All-to-All تیز رفتار انٹرکنیکٹ فراہم کرتی ہے۔ اس کی ویڈیو میموری کا حجم 9TB ہے، اور یہ ٹریلین سطح کے MoE ماڈلز کی EP ایکسپرٹ متوازی کمیونیکیشن ٹریفک کو ایک ہائی بینڈوڈتھ کمیونیکیشن ڈومین میں چلا سکتا ہے، جس سے Token (ٹوکن) جنریشن کی کارکردگی یقینی بنتی ہے۔
اسی دوران، علی بابا کلاؤڈ، Hanguang اور Kimi ٹیموں نے آپریٹرز اور سافٹ ویئر اسٹیک سمیت مختلف سطحوں پر گہرا اشتراک کیا، جس کے نتیجے میں kimi K3 ماڈل کے لیے Day0 موافقت کامیاب ہوئی۔ Zhenwu چپ کا T-Head SAIL سافٹ ویئر اسٹیک، Kimi کے خود تیار کردہ Mooncake انفیرنس فریم ورک کو “ان باکس کھولتے ہی چلنے” کے قابل بناتا ہے۔ M890 کی Triton سپورٹ بھی Triton پر لکھے گئے متعدد کسٹم آپریٹرز کو دوبارہ لکھنے کی ضرورت ختم کرتی ہے، جس سے موافقت کے کام کا بوجھ نمایاں طور پر کم ہوتا ہے۔