LFM2.5-24B-A2B آپریشن میں

LFM2.5-24B-A2B، Liquid AI کا جاری کردہ اوپن ویٹ استدلالی ماڈل اور LFM2.5 سیریز کا فلیگ شپ ہے۔ اس میں کل 24B پیرامیٹرز ہیں، جبکہ ہر token پر صرف 2.45B فعال ہوتے ہیں۔ 40 تہوں پر مشتمل MoE معماری 131K سیاق و سباق اور 16 زبانوں کو سپورٹ کرتی ہے۔ LFM2.5-24B-A2B ہر جواب سے پہلے لازماً سلسلۂ فکر تیار کرتا ہے اور اسے ڈیوائس پر چلنے والے Agent کے لیے بہتر بنایا گیا ہے۔ LiveClaw پر اس کا اسکور 48.09 ہے، جو اس سے 50% زیادہ پیرامیٹرز رکھنے والے Qwen3.6-35B-A3B سے بہتر ہے۔ M5 Max پر اس کی decoding رفتار 184 tok/s تک پہنچتی ہے، جو اسی نوعیت کے MoE ماڈلز سے 1.7 گنا زیادہ تیز ہے۔ یہ مقامی نجی deployment کے استدلال اور tool calling کے منظرناموں کے لیے موزوں ہے، جبکہ علم پر مبنی کاموں میں retrieval کے ساتھ استعمال کی سفارش کی جاتی ہے۔

ڈیوائس پر Agent استدلال: ذاتی آلات پر مقامی طور پر چلنے والے تیز رفتار اور نجی intelligent agents کے لیے خصوصی طور پر ڈیزائن کیا گیا ہے۔
خالص استدلالی موڈ: جواب دینے سے پہلے خودکار طور پر واضح سلسلۂ فکر تیار کرتا ہے اور کم activation لاگت کے ذریعے جواب کا معیار برقرار رکھتا ہے۔
فنکشن کالنگ: چار مراحل پر مشتمل tool calling عمل کو مقامی طور پر سپورٹ کرتا ہے اور OpenClaw، Hermes Agent، Pi اور OpenCode جیسے frameworks سے براہِ راست منسلک ہو سکتا ہے۔
متعدد فارمیٹس میں deployment: native، FP8، GGUF، ONNX اور MLX-4bit ورژن فراہم کرتا ہے، جو GPU، CPU، Apple Silicon اور edge devices کو محیط ہیں۔
طویل سیاق و سباق کی پروسیسنگ: 131,072 tokens کے سیاق و سباق کو سپورٹ کرتا ہے اور طویل دستاویزات و متعدد ادوار پر مشتمل agent trajectories کو سنبھال سکتا ہے۔
کثیر لسانی صلاحیت: انگریزی، چینی، جاپانی، کوریائی، عربی سمیت 16 زبانوں کو سپورٹ کرتا ہے، جبکہ 128K vocabulary غیر لاطینی زبانوں کی tokenization کے لیے بہتر بنائی گئی ہے۔
تیز استدلال: Apple M5 Max پر 184 tok/s، جو اسی نوعیت کے MoE ماڈلز سے زیادہ سے زیادہ 1.7 گنا تیز ہے؛ واحد B300 پر 21K tok/s سے زیادہ۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹس کے گروپ میں شامل ہوں۔
MoE sparse activation معماری: ماڈل میں مجموعی طور پر 24B پیرامیٹرز ہیں، لیکن ہر MoE block میں 64 experts شامل ہیں۔ استدلال کے دوران top-4 routing کے ذریعے صرف 4 experts فعال ہوتے ہیں، اس لیے ہر token پر حقیقی حسابی مقدار صرف 2.45B پیرامیٹرز کے برابر رہتی ہے۔ یہی “بڑی گنجائش، کم حسابی لاگت” کا بنیادی راز ہے: ماڈل تمام علم کو ذخیرہ کرتا ہے، مگر ہر forward pass میں اس کا صرف ایک چھوٹا حصہ استعمال ہوتا ہے، جس سے یکساں مجموعی پیرامیٹرز رکھنے والے ماڈلز کے مقابلے میں استدلال کی لاگت بہت کم ہو جاتی ہے۔
مخلوط تہوں کا ڈیزائن: convolution + GQA پر مشتمل 40 تہوں کا network، 30 “double-gated short convolution blocks” اور 10 GQA mixing layers سے بنا ہے۔ short convolution مقامی sequence features کو مؤثر انداز میں اخذ کرتی ہے، جبکہ attention layers طویل فاصلے کے dependencies کو model کرتی ہیں۔ دونوں کی باری باری ترتیب ماڈل کو linear layers کی مؤثر computation برقرار رکھتے ہوئے طویل سیاق و سباق کی صلاحیت دیتی ہے۔ یہی LFM معماری کی edge devices پر تیز رفتار اور کم memory استعمال کی ساختی بنیاد ہے۔
Vocabulary کی in-place توسیع اور طویل سیاق و سباق کی training: گزشتہ نسل کے LFM2-24B-A2B کے بنیادی architecture کو برقرار رکھتے ہوئے tokenizer کو in-place expand کر کے vocabulary کو 65K سے دوگنا، یعنی 128K کیا گیا ہے، جس سے چینی، جاپانی اور دیگر غیر لاطینی زبانوں کی token efficiency نمایاں طور پر بہتر ہوتی ہے۔ سیاق و سباق کی window کو 32K سے بڑھا کر 131K کیا گیا ہے، اور 300B tokens پر مشتمل خصوصی long-context mid-training کے ذریعے ماڈل نے طویل sequences کو مستحکم طور پر process کرنے کی صلاحیت حاصل کی ہے۔
تین مراحل پر مشتمل training pipeline: pretraining میں تقریباً 33T tokens استعمال ہوتے ہیں۔ mid-training کے پہلے مرحلے میں 32K context پر 2T tokens کے اعلیٰ معیار کے data سے استدلال، ریاضی، code اور instruction following کی صلاحیت مضبوط کی جاتی ہے؛ 131K context پر 300B tokens کے ذریعے طویل متن پر خصوصی توجہ دی جاتی ہے، جبکہ دونوں مراحل میں tool calling اور multi-turn interaction کا data شامل کیا جاتا ہے۔ post-training میں SFT → teacher specialization → non-Agent اور Agent کے لیے دو rounds پر مشتمل multi-domain same-policy distillation → OpenClaw، Hermes جیسے حقیقی agent frameworks میں reinforcement learning کی پانچ مرحلوں والی pipeline استعمال ہوتی ہے، جس سے ماڈل حقیقی tool environment میں “سوچنا-کال کرنا-تصدیق کرنا” سیکھتا ہے۔

ماڈل حاصل کریں: Hugging Face سے LiquidAI/LFM2.5-24B-A2B ڈاؤن لوڈ کریں اور hardware کے مطابق native BF16، FP8، GGUF، ONNX یا MLX-4bit ورژن منتخب کریں۔
ماحول انسٹال کریں: یقینی بنائیں کہ Python environment میں transformers>=5.0.0 انسٹال ہو، یا vLLM، SGLang، llama.cpp، LM Studio جیسے inference frameworks deploy کریں۔
ماڈل لوڈ کریں: bfloat16 precision کے ساتھ ماڈل لوڈ کرنے کے لیے AutoModelForCausalLM.from_pretrained() استعمال کریں۔
prompt تیار کریں: گفتگو کو ChatML format template میں خودکار طور پر format کرنے کے لیے tokenizer.apply_chat_template() استعمال کریں۔
parameters مقرر کریں: generation کے وقت سرکاری تجویز کردہ parameters temperature=0.1، top_k=50 اور repetition_penalty=1.05 استعمال کریں؛ سلسلۂ فکر والے کاموں کے لیے max_new_tokens کو 4096 یا اس سے زیادہ مقرر کیا جا سکتا ہے۔
tool calling configure کریں: tools کی فہرست JSON format میں system prompt میں لکھیں۔ ماڈل function call کو <|tool_call_start|> marker کے ساتھ output کرے گا، اور execution کے بعد نتیجہ tool role کے ذریعے واپس کیا جائے گا۔
Agent framework سے منسلک کریں: مقامی طور پر OpenAI-compatible interface کے ذریعے service شروع کریں، پھر اسے OpenClaw، Hermes Agent، Pi یا OpenCode جیسے agent frameworks سے جوڑیں۔

انتہائی کارکردگی: 24B مجموعی پیرامیٹرز میں سے صرف 2.45B فعال ہوتے ہیں۔ Apple M5 Max پر رفتار 184 tok/s ہے، جو اسی نوعیت کے MoE ماڈلز سے 1.7 گنا زیادہ تیز اور memory استعمال کے لحاظ سے کم ہے۔
کم سے زیادہ کارکردگی: Agent اور tool benchmarks میں اس نے 50% زیادہ پیرامیٹرز رکھنے والے Qwen3.6-35B-A3B کے برابر کارکردگی دکھائی؛ LiveClaw پر 48.09 بمقابلہ 38.19، جبکہ AutomationBench میں دوسرے نمبر والے سے بھی 3 گنا بہتر ہے۔
ہر مرحلے پر استدلال: خالص chain-of-thought ماڈل پہلے سوچتا اور پھر جواب دیتا ہے، جبکہ کم activation لاگت کے باعث ہر reasoning token سستا رہتا ہے۔
native Agent صلاحیت: ریلیز کے وقت ہی OpenClaw، Hermes، Pi اور OpenCode جیسے معروف frameworks میں Agentic RL training مکمل کی گئی ہے، اس لیے tool calling فوری طور پر قابلِ استعمال ہے۔
کھلا اور غیر محدود: base اور post-training دونوں ماڈلز کے weights دستیاب ہیں، جنہیں آزادانہ طور پر ڈاؤن لوڈ، fine-tune اور تجارتی طور پر استعمال کیا جا سکتا ہے۔
تمام platforms کی حمایت: llama.cpp، MLX، vLLM، SGLang اور ONNX کو مقامی طور پر سپورٹ کرتا ہے اور Apple، AMD، Qualcomm اور NVIDIA hardware کے ساتھ compatible ہے۔

HuggingFace ماڈل repository: https://huggingface.co/LiquidAI/LFM2.5-24B-A2B

ڈیوائس پر نجی Agent: MacBook جیسے ذاتی آلات پر مقامی intelligent agent کو ہمہ وقت چلائیں تاکہ planning، tool calling اور task execution مکمل ہو؛ تمام data device سے باہر نہیں جاتا۔
آف لائن/edge assistant: GGUF، ONNX اور MLX formats کے ذریعے اسے غیر مستحکم network یا بالکل offline ماحول، جیسے گاڑی، بیرونی میدان اور embedded terminals، میں deploy کریں اور offline inference فراہم کریں۔
ذہین tools کی scheduling: OpenClaw، Hermes Agent اور OpenCode جیسے frameworks کے driving model کے طور پر استعمال کریں تاکہ scheduled briefings، files کی تنظیم، code operations اور دیگر multi-step workflows انجام دیے جا سکیں۔
کاروباری عمل کی automation: ToolSandbox اور τ³-Bench Banking پر اس کی برتری سے فائدہ اٹھاتے ہوئے banking، recruitment، orders اور ایسے کاروباری مکالموں کو handle کریں جن میں systems سے معلومات حاصل کرنا اور متعدد بار تصدیق کرنا ضروری ہو۔