알리바바 클라우드는 오늘 링쥔전우 M890 슈퍼노드 인스턴스가 2.8조 파라미터 대형 모델 Kimi K3에 성공적으로 적용됐다고 발표했습니다. 칩, 추론 플랫폼, 모델의 공동 최적화를 바탕으로 모델 추론 효율을 효과적으로 향상시켰습니다.
IT之家의 취재에 따르면 Kimi K3는 문샷 AI의 최신 플래그십 모델로, 파라미터 규모가 2.8조에 달하며 혼합 전문가(MoE) 아키텍처를 채택했습니다.
링쥔전우 슈퍼노드 인스턴스는 핑터우거 훈련·추론 통합 AI 칩 전우 M890을 기반으로 구축됐으며, ICN Switch 1.0 상호 연결 칩을 탑재했습니다. 이를 통해 64장의 M890이 800 GB/s의 All-to-All 고속 상호 연결을 구현할 수 있고, 메모리 규모는 9TB에 달합니다. 또한 1조 단위 MoE 모델의 EP 전문가 병렬 통신 트래픽을 하나의 고대역폭 통신 영역에서 처리해 Token(토큰) 생성 효율을 보장할 수 있습니다.
동시에 알리바바 클라우드, 핑터우거, Kimi 팀은 연산자와 소프트웨어 스택 등 여러 측면에서 긴밀히 협력해 kimi K3 모델의 Day0 적용에 성공했습니다. 전우 칩의 T-Head SAIL 소프트웨어 스택은 Kimi의 자체 개발 Mooncake 추론 프레임워크를 ‘설치 후 즉시 실행’할 수 있도록 지원하며, M890의 Triton 지원으로 Triton을 기반으로 작성된 다수의 사용자 정의 연산자를 다시 작성할 필요가 없어 적용 작업량을 크게 줄였습니다.