Alibaba Cloud hôm nay công bố cụm siêu nút Lingjun Zhenwu M890 đã tương thích thành công với mô hình lớn Kimi K3 sở hữu 2,8 nghìn tỷ tham số. Nhờ tối ưu hóa phối hợp giữa chip, nền tảng suy luận và mô hình, hiệu quả suy luận của mô hình được nâng cao đáng kể.
IT之家 được biết, Kimi K3 là mô hình flagship mới nhất của Moonshot AI, có quy mô 2,8 nghìn tỷ tham số và sử dụng kiến trúc Mixture of Experts (MoE).
Cụm siêu nút Lingjun Zhenwu được xây dựng trên chip AI Zhenwu M890 của T-Head, tích hợp huấn luyện và suy luận. Cụm này được trang bị chip kết nối ICN Switch 1.0, cho phép 64 chip M890 đạt tốc độ kết nối All-to-All lên tới 800 GB/s, với dung lượng bộ nhớ lên tới 9 TB. Nhờ đó, lưu lượng giao tiếp song song chuyên gia EP của các mô hình MoE quy mô nghìn tỷ tham số có thể chạy trong một miền giao tiếp băng thông cao, bảo đảm hiệu suất tạo Token.
Đồng thời, Alibaba Cloud, T-Head và đội ngũ Kimi đã phối hợp chuyên sâu ở các cấp độ toán tử và ngăn xếp phần mềm, giúp mô hình Kimi K3 đạt khả năng tương thích Day0. Ngăn xếp phần mềm T-Head SAIL trên chip Zhenwu cho phép khung suy luận Mooncake do Kimi tự phát triển hoạt động ngay sau khi cài đặt. Khả năng hỗ trợ Triton của M890 cũng giúp nhiều toán tử tùy chỉnh được viết dựa trên Triton không cần viết lại, qua đó giảm đáng kể khối lượng công việc tương thích.