LFM2.5-24B-A2B Inafanya kazi

LFM2.5-24B-A2B ni modeli ya uelekezaji yenye uzani wa wazi iliyoundwa na Liquid AI, na ndiyo kinara wa mfululizo wa LFM2.5. Ina jumla ya vigezo 24B, huku kila token ikiwezesha 2.45B pekee, usanifu wa MoE wa tabaka 40, muktadha wa 131K na lugha 16. Kabla ya kujibu, LFM2.5-24B-A2B lazima kwanza itengeneze mnyororo wa mawazo. Imeboreshwa mahususi kwa ajili ya mawakala wa AI kwenye vifaa vya mtumiaji. Ilipata alama 48.09 kwenye LiveClaw, ikishinda Qwen3.6-35B-A3B yenye vigezo vingi kwa 50%, huku kasi ya usimbuaji kwenye M5 Max ikifikia 184 tok/s, ikiwa mara 1.7 zaidi ya MoE nyingine yenye kasi zaidi. Inafaa kwa uelekezaji wa ndani na matumizi ya zana katika mazingira ya uwekaji binafsi; kwa kazi zenye maarifa mengi, inashauriwa kutumiwa pamoja na utafutaji wa taarifa.

Uelekezaji wa wakala kwenye kifaa: Imeundwa mahususi kwa mawakala wenye kasi na faragha wanaoendesha ndani ya vifaa binafsi.
Hali safi ya uelekezaji: Hutengeneza kiotomatiki mnyororo wa mawazo unaoonekana kabla ya kujibu, ikitumia gharama ndogo ya uanzishaji ili kupata majibu bora.
Utekelezaji wa vitendaji: Inaunga mkono kiasili mchakato wa hatua nne wa kutumia zana, na inaweza kuunganishwa moja kwa moja na mifumo kama OpenClaw, Hermes Agent, Pi na OpenCode.
Uwekaji katika miundo mbalimbali: Inapatikana katika matoleo ya asili, FP8, GGUF, ONNX na MLX-4bit, yanayofunika GPU, CPU, Apple Silicon na vifaa vya pembeni.
Uchakataji wa muktadha mrefu: Inaunga mkono muktadha wa tokeni 131,072 na inaweza kuchakata hati ndefu pamoja na mfululizo wa mwingiliano wa mawakala.
Uwezo wa lugha nyingi: Inashughulikia lugha 16, zikiwemo Kiingereza, Kichina, Kijapani, Kikorea na Kiarabu, huku msamiati wa 128K ukiwa umeboreshwa kwa ugawaji wa tokeni katika lugha zisizo za Kilatini.
Uelekezaji wa haraka: Kwenye Apple M5 Max hufikia 184 tok/s, ikiwa haraka hadi mara 1.7 kuliko MoE nyingine, na zaidi ya 21K tok/s kwenye B300 yenye kadi moja.

Fuatilia WeChat na ujibu “开源” ili ujiunge na kikundi cha majadiliano ya miradi ya AI ya chanzo huria
Usanifu wa MoE wenye uanzishaji adimu: Modeli ina vigezo 24B kwa jumla, lakini kila kizuizi cha MoE kina wataalamu 64. Wakati wa uelekezaji, routing ya top-4 huwezesha wataalamu 4 pekee, hivyo kiasi halisi cha hesabu kwa kila token ni vigezo 2.45B tu. Hiki ndicho kiini cha “uwezo mkubwa, gharama ndogo ya hesabu”: modeli huhifadhi maarifa yote, lakini kila uenezaji wa mbele hutumia sehemu ndogo tu, na hivyo kufikia gharama ya uelekezaji iliyo chini sana ya modeli yenye jumla sawa ya vigezo.
Muundo wa tabaka mseto: Mtandao wa tabaka 40 unaochanganya konvolusheni na GQA umeundwa na vizuizi 30 vya “konvolusheni fupi vyenye milango miwili” pamoja na tabaka 10 za mchanganyiko wa GQA. Konvolusheni fupi hutoa vipengele vya mfuatano wa karibu kwa ufanisi, huku tabaka za umakini zikishughulikia utegemezi wa masafa marefu. Kubadilishana kwa aina hizi mbili huiwezesha modeli kudumisha uwezo wa muktadha mrefu huku ikihifadhi ufanisi wa hesabu wa tabaka zenye uhusiano wa mstari. Huu pia ndio msingi wa kimuundo unaoifanya usanifu wa LFM uwe wa kasi na utumie kumbukumbu kidogo kwenye vifaa vya pembeni.
Upanuzi wa msamiati mahali pake na mafunzo ya muktadha mrefu: Kwa kuhifadhi usanifu mkuu wa kizazi kilichotangulia cha LFM2-24B-A2B, tokenizer ilipanuliwa mahali pake na msamiati ukaongezwa kutoka 65K hadi 128K, jambo lililoboresha kwa kiasi kikubwa ufanisi wa tokeni katika Kichina, Kijapani na lugha nyingine zisizo za Kilatini. Dirisha la muktadha liliongezwa kutoka 32K hadi 131K, na mafunzo maalum ya kati ya muktadha mrefu yaliyotumia 300B tokens yaliwezesha modeli kupata uwezo thabiti wa kuchakata mfuatano mrefu.
Mchakato wa mafunzo wa hatua tatu: Mafunzo ya awali yalitumia takribani 33T tokens. Mafunzo ya kati yaliimarisha uelekezaji, hisabati, msimbo na ufuataji wa maagizo kwa kutumia data bora ya 2T tokens katika muktadha wa 32K, kisha yakalenga maandishi marefu kwa kutumia 300B tokens katika muktadha wa 131K. Hatua zote mbili zilijumuisha data ya matumizi ya zana na mwingiliano wa raundi nyingi. Mafunzo ya baadae yalifuata mkondo wa hatua tano: SFT → utaalamu wa mwalimu → kunakili kwa mikakati mingi katika vikoa vingi kwa raundi mbili, kwa mawakala na bila mawakala → ujifunzaji wa kuimarisha ndani ya mifumo halisi ya mawakala kama OpenClaw na Hermes. Hii huifanya modeli ijifunze kikamilifu “kufikiri-kuita zana-kuthibitisha” katika mazingira halisi ya zana.

Pata modeli: Pakua LiquidAI/LFM2.5-24B-A2B kutoka Hugging Face, kisha uchague toleo la asili la BF16, FP8, GGUF, ONNX au MLX-4bit kulingana na maunzi.
Sakinisha mazingira: Hakikisha mazingira ya Python yana transformers>=5.0.0, au weka mfumo wa uelekezaji kama vLLM, SGLang, llama.cpp au LM Studio.
Pakia modeli: Tumia AutoModelForCausalLM.from_pretrained() kupakia modeli kwa usahihi wa bfloat16.
Tengeneza vidokezo: Tumia tokenizer.apply_chat_template() kutumia kiotomatiki kiolezo cha ChatML na kuunda muundo wa mazungumzo.
Weka vigezo: Wakati wa uzalishaji, tumia vigezo vinavyopendekezwa rasmi: temperature=0.1, top_k=50 na repetition_penalty=1.05. Kwa kazi za mnyororo wa mawazo, max_new_tokens inaweza kuwekwa kuwa 4096 au zaidi.
Sanidi matumizi ya zana: Andika orodha ya zana katika mfumo wa JSON ndani ya system prompt. Modeli itatumia alama <|tool_call_start|> kutoa mwito wa kitendaji, kisha baada ya utekelezaji irudishe matokeo kwa jukumu la tool.
Unganisha na mfumo wa mawakala: Anzisha huduma ndani ya kifaa kupitia kiolesura kinachoendana na OpenAI, kisha uiunganishe na mifumo ya mawakala kama OpenClaw, Hermes Agent, Pi au OpenCode.

Ufanisi wa hali ya juu: Kati ya vigezo 24B kwa jumla, ni 2.45B pekee vinavyoamilishwa. Kwenye Apple M5 Max hufikia 184 tok/s, ikiwa haraka mara 1.7 kuliko MoE nyingine na ikitumia kumbukumbu kidogo zaidi.
Ndogo yashinda kubwa: Kwenye viwango vya mawakala na zana, inalingana na Qwen3.6-35B-A3B yenye vigezo vingi kwa 50%. Alama za LiveClaw ni 48.09 dhidi ya 38.19, huku AutomationBench ikizidi mshindi wa pili mara 3.
Uelekezaji wakati wote: Modeli ya mnyororo safi wa mawazo hufikiri kwanza kisha kujibu, na gharama ndogo ya uanzishaji hufanya kila tokeni ya uelekezaji iwe nafuu.
Uwezo wa asili wa mawakala: Tangu kuchapishwa, imepata mafunzo ya Agentic RL ndani ya mifumo maarufu kama OpenClaw, Hermes, Pi na OpenCode, hivyo matumizi ya zana yako tayari kutumika.
Wazi bila vizuizi: Modeli ya msingi na modeli ya baada ya mafunzo zina uzani wazi, na zinaweza kupakuliwa, kurekebishwa na kutumiwa kibiashara kwa uhuru.
Usaidizi wa majukwaa yote: Inaunga mkono kiasili llama.cpp, MLX, vLLM, SGLang na ONNX, na inaendana na maunzi ya Apple, AMD, Qualcomm na NVIDIA.

Maktaba ya modeli ya HuggingFace: https://huggingface.co/LiquidAI/LFM2.5-24B-A2B

Wakala binafsi wa ndani ya kifaa: Endesha wakala wa ndani kwenye vifaa binafsi kama MacBook mchana na usiku, ukikamilisha upangaji, matumizi ya zana na utekelezaji wa kazi bila data kuondoka kwenye kifaa.
Msaidizi wa nje ya mtandao/pembeni: Tumia miundo ya GGUF, ONNX au MLX kuweka modeli katika mazingira yenye mtandao usio thabiti au yasiyo na mtandao, kama magari, maeneo ya mbali na vituo vilivyopachikwa, ili kutoa uelekezaji wa nje ya mtandao.
Uratibu mahiri wa zana: Itumie kama modeli ya kuendesha mifumo kama OpenClaw, Hermes Agent na OpenCode, kwa kutekeleza mtiririko wa kazi wa hatua nyingi kama kutengeneza muhtasari uliopangwa, kupanga faili na kuendesha shughuli za msimbo.
Uendeshaji otomatiki wa michakato ya biashara: Tumia ubora wake katika ToolSandbox na τ³-Bench Banking kushughulikia mazungumzo ya huduma za benki, uajiri na maagizo yanayohitaji kuuliza mifumo na kufanya uthibitishaji wa raundi nyingi.