Alibaba Cloud bugun Lingjun Zhenwu M890 supertugunli instansiyasi 2,8 trillion parametrli Kimi K3 katta modeli bilan muvaffaqiyatli moslashtirilganini e’lon qildi. Chip, inferens platformasi va modelning birgalikdagi optimallashtirilishi asosida model inferensi samaradorligi sezilarli oshirildi.
IT之家 ma’lumotiga ko‘ra, Kimi K3 Moonshot kompaniyasining eng yangi flagman modeli bo‘lib, uning parametrlari 2,8 trillionga yetadi va u aralash ekspertlar (MoE) arxitekturasidan foydalanadi.
Lingjun Zhenwu supertugunli instansiyasi esa T-Head tomonidan ishlab chiqilgan Zhenwu M890 o‘qitish va inferensni birlashtiruvchi AI chipi asosida yaratilgan. U ICN Switch 1.0 ulanish chipiga ega bo‘lib, 64 ta M890 chipiga 800 GB/s tezlikda All-to-All yuqori tezlikdagi ulanishni ta’minlaydi. Videoxotira hajmi 9 TB ga yetadi va trillionlab parametrli MoE modellarining EP ekspertlar parallel kommunikatsiyasi trafigini bitta yuqori o‘tkazuvchanlik kommunikatsiya domenida ishlatib, Token (token) generatsiyasi samaradorligini kafolatlaydi.
Shu bilan birga, Alibaba Cloud, T-Head va Kimi jamoalari operatorlar, dasturiy ta’minot steki kabi qatlamlarda chuqur hamkorlik qilib, Kimi K3 modelini Day0 moslashuviga muvaffaqiyatli erishdi. Zhenwu chipining T-Head SAIL dasturiy ta’minot steki Kimi kompaniyasining o‘z Mooncake inferens freymvorkini “qutidan chiqariboq ishga tushirish” imkonini beradi. M890 chipining Triton qo‘llab-quvvatlashi esa Triton asosida yozilgan ko‘plab maxsus operatorlarni qayta yozish zaruratini bartaraf etib, moslashtirish ish hajmini sezilarli kamaytiradi.