MiniCPM5-2B آپریشن میں

MiniCPM5-2B دیوار ذہانت، OpenBMB کمیونٹی اور سنگھوا یونیورسٹی کے اشتراک سے جاری کیا گیا ایک آن ڈیوائس لینگویج بیس ماڈل ہے۔ ماڈل میں تقریباً 2.5 بلین پیرامیٹرز ہیں، 128K کانٹیکسٹ کو سپورٹ کرتا ہے، اور 34 بینچ مارکس پر اوسط اسکور 53.9 حاصل کرتا ہے، متعدد 4B درجے کے ماڈلز سے آگے ہے اور 2B درجے کے اوپن سورس SOTA تک پہنچتا ہے۔ ماڈل ٹول کالنگ، گہری تلاش اور کوڈ جنریشن جیسی Agent صلاحیتوں کو آن ڈیوائس پر منتقل کرتا ہے اور 6GB میموری والے آلات پر چل سکتا ہے؛ ساتھ ہی تربیتی ڈیٹا، RL فریم ورک Meshy اور JustRL II الگورتھم بھی اوپن سورس کیے گئے ہیں، اس لیے اسے آن ڈیوائس کا ”چھوٹا مگر طاقتور ماڈل“ کہا جا سکتا ہے۔

آن ڈیوائس مکالمہ اور سوال و جواب: زبان کے ماڈل کو مقامی ڈیوائس پر براہِ راست چلا کر روزمرہ سوالات، تحریر، خلاصہ نویسی اور دیگر کام انجام دیں، جبکہ ڈیٹا کو کلاؤڈ پر اپ لوڈ کرنے کی ضرورت نہیں۔
طویل متن کی سمجھ: 128K کانٹیکسٹ سپورٹ کے ساتھ میٹنگ منٹس، معاہدوں اور طویل دستاویزات کو مقامی طور پر پراسیس کر کے اہم معلومات درست طور پر اخذ کریں۔
کوڈ جنریشن اور اصلاح: کوڈ تکمیل سے لے کر حقیقی ریپوزٹری کی سطح کی اصلاح (SWE-bench Verified 46.4) تک، یہ مقامی کوڈنگ اسسٹنٹ کے طور پر کام کر سکتا ہے۔
ٹول کالنگ: فنکشن کالنگ کی مقامی سپورٹ کے ذریعے ضرورت کے مطابق بیرونی ٹولز کو طلب کر کے تلاش، حساب، ڈیٹابیس کے ساتھ تعامل اور دیگر کام انجام دیتا ہے۔
گہری تلاش: سرچ Agent کی صلاحیت کے ساتھ متعدد مراحل پر مشتمل تلاش کی خودکار منصوبہ بندی اور جوابات کا انضمام کرتا ہے۔
مخلوط استدلال: enable_thinking سوئچ کے ذریعے تیز جواب اور گہری سوچ کے موڈز کے درمیان تبدیل ہو کر کارکردگی اور مشکل مسائل کے حل میں توازن رکھتا ہے۔
مقامی بیچ ٹاسکس: ریزیومے چھان بین، امتحانی پرچوں کی جانچ اور معاہدوں کے تجزیے جیسے حساس کاموں کو ڈیوائس پر کم لاگت کے ساتھ متوازی طور پر انجام دیا جا سکتا ہے۔

WeChat پر فالو کریں اور ”开源“ کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
معیاری Dense Transformer آرکیٹیکچر: ماڈل معیاری LlamaForCausalLM ساخت اختیار کرتا ہے، جس میں کل 42 تہیں ہیں۔ یہ KV Cache کے اخراجات کم کرنے کے لیے GQA استعمال کرتا ہے اور مقامی طور پر 131,072 ٹوکن کانٹیکسٹ سپورٹ کرتا ہے۔ چونکہ آرکیٹیکچر مکمل طور پر معیاری ہے، اس لیے vLLM، llama.cpp اور Ollama جیسے معروف فریم ورکس کسٹم kernel کے بغیر اسے مقامی طور پر لوڈ کر سکتے ہیں۔
مکمل سلسلے میں Agent صلاحیتوں کی تربیت: Agent کے لیے پری ٹریننگ مرحلے ہی سے مخصوص بنیاد فراہم کی جاتی ہے۔ پہلے 200B پیمانے کی Agent Midtraining کے ذریعے کام کی تقسیم اور ٹول استعمال کے پیشگی علم کو شامل کیا جاتا ہے، پھر ٹول کالنگ، ویب سرچ اور کوڈ Agent جیسے منظرناموں پر مشتمل 500,000 SFT ٹریجز سے ماڈل کو معیاری عمل درآمد سکھایا جاتا ہے، اور آخر میں Agent RL کے ذریعے متعدد ادوار کے تعامل میں پالیسی کے استحکام کو یقینی بنایا جاتا ہے، یوں ”چلنے کے قابل اور کارآمد“ مکمل صلاحیتی سلسلہ تشکیل پاتا ہے۔
Meshy Reinforcement Learning فریم ورک: Meshy روایتی RL ٹریننگ کے مرکزی کنٹرولر اور Ray انحصار کو ختم کرتا ہے، اور ٹریننگ، استدلال اور انعام کے حساب کو مساوی نوڈ سروسز کے طور پر ماڈل کرتا ہے۔ یہ TransferQueue میں ڈیٹا کی تیاری کی حالت کے ذریعے حقیقی کنٹرول فلو چلاتا ہے، اور ہم وقت ساز، غیر ہم وقت ساز اور مکمل غیر ہم وقت ساز تینوں موڈز کے درمیان لچک سے تبدیل ہو سکتا ہے، جس سے بڑے پیمانے کی RL ٹریننگ زیادہ قابلِ توسیع اور تعیناتی زیادہ ہلکی ہو جاتی ہے۔
JustRL II Reinforcement Learning الگورتھم: آن ڈیوائس ماڈلز کی طویل Chain-of-Thought RL میں ”انعامی سگنل سے ماڈل کا منحرف ہونا“ اور ”GRPO کی ناقص کریڈٹ تقسیم“ جیسے دو بڑے مسائل کے لیے JustRL II ڈیٹا کی سطح پر تین مرحلوں کی پائپ لائن سے تربیتی نمونوں کی کالیبریشن کرتا ہے، جبکہ الگورتھم کی سطح پر GRPO میں Critic شامل کر کے ٹوکن کی سطح پر کریڈٹ تقسیم کرتا ہے اور طویل استدلالی سلسلے میں ہر مرحلے کے کردار کو درست طور پر الگ کرتا ہے۔
UltraX فنکشن کالنگ پر مبنی ڈیٹا ریفائنمنٹ: UltraX بڑے ماڈل کے ذریعے ویب متن کو آخر تا آخر دوبارہ لکھنے کے روایتی طریقے کو ترک کرتا ہے۔ اس کے بجائے ایک 0.6B ہلکے ماڈل کو ساختی ترمیمی کارروائیوں کی پیش گوئی کرنے کی تربیت دی جاتی ہے، پھر ایک تعییناتی ایگزیکیوٹر انہیں سطر بہ سطر نافذ کرتا ہے۔ اس طرح دوبارہ تحریر سے پیدا ہونے والی معنوی تبدیلی اور ساختی نقصان سے بچا جا سکتا ہے، جبکہ ترمیمی کارروائیوں کو محفوظ اور آڈٹ کے قابل بنانے سے پورا عمل قابلِ سراغ رہتا ہے۔ عملی جانچ میں 16B tokens کے ریفائن کیے گئے کارپس پر تربیت کا نتیجہ اصل 20B tokens کے مکمل تربیتی نتیجے سے بھی بہتر رہا۔
UltraData درجہ بند ڈیٹا گورننس نظام: کوڈ ڈیٹا کے لیے L0–L3 تدریجی گورننس استعمال ہوتی ہے، جبکہ RL ڈیٹا کو تین مرحلوں کی پائپ لائن کے ذریعے ناقابلِ تصدیق، ناقابلِ اعتماد انعام اور غیر موزوں مشکل والے نمونوں سے صاف کیا جاتا ہے۔ اعلیٰ معیار کے ڈیٹا سگنل کے ذریعے چھوٹے ماڈل کی صلاحیت کی کمی پوری کی جاتی ہے، جو کم پیرامیٹرز کے باوجود 4B ماڈلز سے آگے نکلنے کی بنیادی انجینئرنگ بنیاد ہے۔

ہارڈویئر کی شرائط کی تصدیق کریں: BF16 کے اصل وزن تقریباً 4.7GiB کے ہیں، یا تقریباً 1.2GB کے GGUF کوانٹائزڈ ورژن کو 6GB میموری والے فون یا عام لیپ ٹاپ پر چلایا جا سکتا ہے۔
ماڈل کے وزن حاصل کریں: مطلوبہ ورژن HuggingFace یا 魔搭 کمیونٹی سے ڈاؤن لوڈ کریں اور ضرورت کے مطابق BF16 / GGUF / MLX / GPTQ / SFT فارمیٹ منتخب کریں۔
انفرنس فریم ورک انسٹال کریں: کلاؤڈ یا زیادہ ہم وقتی درخواستوں کے لیے vLLM (≥0.21.0 میں مقامی سپورٹ، ایک GPU پر TP=1 کافی ہے) استعمال کریں؛ مقامی ہلکی تعیناتی کے لیے llama.cpp، Ollama یا SGLang، اور CPU ماحول میں دیوار ذہانت کا تیار کردہ Arclight فریم ورک استعمال کیا جا سکتا ہے۔
ماڈل لوڈ کر کے چلائیں: معیاری Llama آرکیٹیکچر کے طور پر براہِ راست لوڈ کریں، کسی کسٹم kernel کی ضرورت نہیں۔
سوچنے کا موڈ تبدیل کریں: چیٹ ٹیمپلیٹ میں enable_thinking سوئچ کے ذریعے تیز جواب یا گہری استدلال کا انتخاب کریں اور کام کی مشکل کے مطابق موڈ منتخب کریں۔
ٹول کالنگ/Agent شامل کریں: ماڈل کی مقامی فنکشن کالنگ اور گہری تلاش کی صلاحیتوں سے فائدہ اٹھا کر متعلقہ تعیناتی Cookbook اور Agent Skills کے ساتھ مقامی Agent ورک فلو بنائیں۔

2B درجے کا اوپن سورس SOTA: 34 بینچ مارکس پر اوسط اسکور 53.9، تمام آزمائے گئے 4B درجے کے ماڈلز سے آگے، کم میں زیادہ کارکردگی۔
آن ڈیوائس عمومی Agent کی ابتدائی شکل: ٹول کالنگ، گہری تلاش اور کوڈ جنریشن جیسی Agent کی بنیادی صلاحیتیں مقامی طور پر شامل ہیں۔ Agent رینکنگ میں 20 پوائنٹس کے ساتھ سرفہرست، Granite 4.2 8B، Qwen3.5 9B اور دیگر بڑے ماڈلز سے آگے۔
انتہائی آسان تعیناتی: معیاری Llama آرکیٹیکچر اور تمام فارمیٹس کی ریلیز کے ساتھ vLLM، Ollama اور llama.cpp میں براہِ راست لوڈ کیا جا سکتا ہے۔ INT4 ورژن صرف 1.2GB کا ہے اور 6GB میموری والے آلات پر چلتا ہے۔
مقامی 128K طویل کانٹیکسٹ: 130,000 ٹوکن کانٹیکسٹ آن ڈیوائس میٹنگ منٹس، معاہدوں اور دیگر طویل دستاویزات کی مقامی پروسیسنگ کی بنیاد فراہم کرتا ہے۔
مکمل سلسلے کا اوپن سورس: صرف وزن ہی نہیں بلکہ تربیتی ڈیٹا (UltraData سیریز)، RL فریم ورک (Meshy)، RL الگورتھم (JustRL II) اور تربیتی Recipe بھی جاری کیے گئے ہیں، جنہیں مکمل طور پر دوبارہ تیار اور مزید اختراع کیا جا سکتا ہے۔
موثر استدلال: فی کام اوسطاً تقریباً 21K output tokens، ہم درجے کے ماڈلز سے کم ٹوکن خرچ، اور آن ڈیوائس زیادہ رفتار و کم بجلی کا استعمال۔
وسیع چپ ماحولیاتی نظام: AMD، Intel، MediaTek، Qualcomm، Ascend، Hygon، Kunlunxin اور Moore Threads سمیت 9 چینی چپس کے لیے Day0 موافقت۔

GitHub ریپوزٹری: https://github.com/OpenBMB/MiniCPM
HuggingFace ماڈل کلیکشن: https://huggingface.co/collections/openbmb/minicpm5

حساس دستاویزات کی رازداری پر مبنی پروسیسنگ: میٹنگ منٹس، معاہدوں اور داخلی ای میلز کے سوال و جواب اور خلاصے مقامی طور پر مکمل کیے جائیں، جبکہ ڈیٹا پورے عمل میں ڈیوائس سے باہر نہ جائے۔
بھرتی اور انسانی وسائل: ریزیومے مقامی طور پر بیچ میں چھانٹیں، امیدواروں کی معلومات اخذ کر کے ساختی موازنے میں لائیں، اور ریزیومے کو کلاؤڈ پر اپ لوڈ کرنے سے بچیں۔
آن ڈیوائس کوڈنگ اسسٹنٹ: آف لائن کوڈ تکمیل، ڈیبگنگ تجاویز اور حتیٰ کہ ریپوزٹری کی سطح کی خرابیوں کی اصلاح مکمل کریں، اور کوڈ اثاثوں کی حفاظت یقینی بنائیں۔
مقامی گہری تلاش: متعدد مراحل پر مشتمل ویب تلاش کی خودکار منصوبہ بندی کر کے جوابات یکجا کریں، جو تحقیق، قیمتوں کے موازنے اور معلومات جمع کرنے کے لیے موزوں ہے۔
تعلیم اور جانچ: امتحانی پرچوں کی جانچ، اسائنمنٹس پر تبصرے اور غلط سوالات کا تجزیہ مقامی طور پر بیچ میں متوازی طور پر انجام دیں، جس سے اسکولوں اور تعلیمی اداروں کی لاگت کم ہو۔