আলিবাবা ক্লাউড আজ ঘোষণা করেছে যে Lingjun Zhenwu M890 সুপারনোড ইনস্ট্যান্স ২.৮ ট্রিলিয়ন প্যারামিটারের বড় মডেল Kimi K3-এর সঙ্গে সফলভাবে অভিযোজিত হয়েছে। চিপ, ইনফারেন্স প্ল্যাটফর্ম এবং মডেলের যৌথ অপ্টিমাইজেশনের মাধ্যমে মডেলটির ইনফারেন্স দক্ষতা কার্যকরভাবে বাড়ানো হয়েছে।
IT之家 জানতে পেরেছে যে Kimi K3 হলো Moonshot AI-এর সর্বশেষ ফ্ল্যাগশিপ মডেল, যার প্যারামিটারের আকার ২.৮ ট্রিলিয়নে পৌঁছেছে এবং এটি মিশ্র বিশেষজ্ঞ (MoE) স্থাপত্য ব্যবহার করে।
অন্যদিকে, Lingjun Zhenwu সুপারনোড ইনস্ট্যান্স Hanguang-এর প্রশিক্ষণ ও ইনফারেন্স সমন্বিত AI চিপ Zhenwu M890-এর ভিত্তিতে তৈরি। এতে ICN Switch 1.0 আন্তঃসংযোগ চিপ রয়েছে, যা ৬৪টি M890-কে ৮০০ GB/s All-to-All উচ্চগতির আন্তঃসংযোগ দিতে পারে। মেমরির আকার 9TB, ফলে ট্রিলিয়ন-প্যারামিটার MoE মডেলের EP বিশেষজ্ঞ-সমান্তরাল যোগাযোগের ট্রাফিককে একটি উচ্চ-ব্যান্ডউইথ যোগাযোগ ডোমেনের মধ্যে চালানো যায় এবং Token (টোকেন) উৎপাদনের দক্ষতা নিশ্চিত হয়।
একই সময়ে, আলিবাবা ক্লাউড, Hanguang এবং Kimi দল অপারেটর, সফটওয়্যার স্ট্যাকসহ বিভিন্ন স্তরে গভীর সমন্বয় করেছে এবং সফলভাবে kimi K3 মডেলের Day0 অভিযোজন সম্পন্ন করেছে। Zhenwu চিপের T-Head SAIL সফটওয়্যার স্ট্যাক Kimi-এর নিজস্ব Mooncake ইনফারেন্স ফ্রেমওয়ার্ককে “বক্স খুলেই চালু” করার সুবিধা দেয়। M890-এর Triton সমর্থনের কারণে Triton-ভিত্তিক বিপুলসংখ্যক কাস্টম অপারেটর পুনরায় লেখার প্রয়োজন হয় না, ফলে অভিযোজনের কাজ উল্লেখযোগ্যভাবে কমে যায়।