Ant Ling leo imefungua kwa chanzo huria modeli ya Ling-3.0-tiny kwenye jukwaa la Hugging Face. Modeli hii ni usanifu mwepesi wa MoE wenye mchanganyiko wa uelekezaji, ikiwa na jumla ya vigezo 7.9B, huku kila Token ikiwezesha vigezo 1.3B. Rasmi imetoa matoleo ya uzani ya BF16, FP8 na INT4 ili kukidhi mahitaji ya usambazaji kwenye majukwaa mbalimbali.
Kulingana na maelezo, Ling-3.0-tiny inalenga uelekezaji wa gharama nafuu na inatumia usanifu mseto wa mstari wenye ufanisi, ikipanga KDA (Kimi Delta Attention) na MLA (Multi-Head Latent Attention, umakini fiche wenye vichwa vingi) kwa kupishana kwa uwiano wa 3:1. Inatumia mtandao wa mbele wa MoE (FFN) wenye wataalamu 128 wa uelekezaji (routed experts), na kufikia uwiano kati ya uwezo wa kuchakata muktadha na gharama ya ukokotoaji.
Modeli hii inasaidia hali ya majibu ya haraka na hali ya uelekezaji wa hatua nyingi, ikiwa imeundwa mahsusi kwa usambazaji wa ndani. Rasmi imethibitishwa kwenye kompyuta kama NVIDIA DGX Spark, Apple Silicon MacBook na Mac mini. Kwenye MacBook yenye M4 Pro, inaweza kufikia kasi ya uelekezaji ya takriban 86-90 Token/s. Kwa urefu wa muktadha wa 8K, matumizi ya juu ya kumbukumbu ni takriban 8.34 GiB.
Marejeleo:
inclusionAI/Ling-3.0-tiny · Hugging Face