Alibaba Cloud imetangaza leo kuwa instansi ya supernode ya Lingjun Zhenwu M890 imefanikiwa kuoanisha modeli kubwa ya Kimi K3 yenye parameta trilioni 2.8. Kupitia uboreshaji wa pamoja wa chipu, jukwaa la uendeshaji na modeli, ufanisi wa uendeshaji wa modeli umeboreshwa.
IT之家 imebaini kuwa Kimi K3 ni modeli kuu ya hivi karibuni ya Moonshot AI, yenye parameta trilioni 2.8 na inayotumia usanifu wa mchanganyiko wa wataalamu (MoE).
Instansi ya supernode ya Lingjun Zhenwu imejengwa kwa kutumia chipu ya AI ya T-Head Zhenwu M890, inayounganisha mafunzo na uendeshaji wa modeli. Ina chipu ya muunganisho ya ICN Switch 1.0, inayowezesha chipu 64 za M890 kufikia muunganisho wa kasi wa All-to-All wa 800 GB/s. Kumbukumbu yake ya video ni 9TB, na inaweza kuweka trafiki ya mawasiliano ya ufananishi wa wataalamu wa EP wa modeli za MoE zenye kiwango cha trilioni ndani ya kikoa kimoja cha mawasiliano chenye kipimo data cha juu, hivyo kuhakikisha ufanisi wa uzalishaji wa Token (vitengo vya maneno).
Wakati huo huo, Alibaba Cloud, T-Head na timu ya Kimi zilifanya ushirikiano wa kina katika viendeshaji na mrundikano wa programu, na kufanikisha uoanifu wa Day0 wa modeli ya Kimi K3. Mrundikano wa programu wa T-Head SAIL wa chipu ya Zhenwu huwezesha mfumo wa uendeshaji wa Mooncake uliotengenezwa na Kimi kufanya kazi mara moja bila usanidi wa ziada. Usaidizi wa Triton kwenye M890 pia huwezesha viendeshaji vingi maalum vilivyoandikwa kwa kutumia Triton kutotengenezwa upya, hivyo kupunguza kwa kiasi kikubwa mzigo wa uoanifu.