アリババクラウドは本日、灵骏真武 M890超ノードインスタンスが2.8兆パラメータの大規模モデルKimi K3への対応に成功したと発表しました。チップ、推論プラットフォーム、モデルの共同最適化により、モデルの推論効率を効果的に向上させています。
IT之家が確認したところ、Kimi K3は月之暗面が最新に発表したフラッグシップモデルで、パラメータ規模は2.8兆に達し、Mixture of Experts（MoE）アーキテクチャを採用しています。
一方、灵骏真武超ノードインスタンスは、平頭哥の学習・推論一体型AIチップである真武 M890を基盤に構築されています。ICN Switch 1.0相互接続チップを搭載し、64枚のM890で800 GB/sのAll-to-All高速相互接続を実現できます。メモリ容量は9TBに達し、兆パラメータ級MoEモデルのEPエキスパート並列通信トラフィックを1つの高帯域幅通信ドメイン内で処理することで、Token（トークン）の生成効率を確保します。
同時に、アリババクラウド、平頭哥、Kimiの各チームは、演算子やソフトウェアスタックなどのレベルで緊密に連携し、Kimi K3モデルのDay0対応に成功しました。真武チップのT-Head SAILソフトウェアスタックにより、Kimiが独自開発したMooncake推論フレームワークは「すぐに実行」でき、M890のTritonサポートにより、Tritonで記述された多数のカスタム演算子を再実装する必要がなくなり、対応作業の負担を大幅に軽減します。