MiniCPM-V 4.7 آپریشن میں

MiniCPM-V 4.7 ایک ڈیوائس پر چلنے والا ملٹی موڈل بڑا ماڈل ہے جسے 面壁智能 اور OpenBMB نے مشترکہ طور پر اوپن سورس کیا ہے، جس کے دو ورژن 35B-A3B (MoE) اور 1B ہیں۔ فلیگ شپ ورژن دنیا کا پہلا اوپن سورس MoE ملٹی موڈل ماڈل ہے جو موبائل فون پر معیار کھوئے بغیر رواں انداز میں چل سکتا ہے۔ جدید پیشگی ماہر شیڈولنگ ٹیکنالوجی کی مدد سے تقریباً 3GB میموری میں iPhone پر 13+ tokens/s کی رفتار حاصل کرتا ہے اور 34 بینچ مارکس میں ہم پلہ ماڈلز سے آگے ہے؛ 1B ورژن ابتدائی سطح کے آلات کے لیے ہے۔

عمومی بصری فہم: تصاویر میں اشیا کی شناخت، متعدد تصاویر کا موازنہ اور بصری سوال و جواب؛ MMBench میں 91.72 اسکور کے ساتھ ہم پلہ ماڈلز سے آگے۔
دستاویز اور OCR تجزیہ: تصاویر/PDF میں موجود متن، جدولوں اور چارٹس کی شناخت؛ OCRBench میں 91.2 اسکور۔
ریاضی اور STEM استدلال: ریاضی کے سوالات اور سائنسی مسائل حل کرنا؛ MMMU میں 80.22 اور MathVista میں 88 اسکور۔
طویل ویڈیو فہم: طویل مدتی ویڈیو کے مواد کو سمجھ کر متعلقہ سوالات کے جواب دینا؛ LongVideoBench میں 68.9 اسکور۔
ڈیوائس پر رواں کارکردگی: 35B ماڈل iPhone پر صرف تقریباً 3GB میموری استعمال کرتا ہے اور 13+ tokens/s کی حقیقی وقت میں تخلیق فراہم کرتا ہے۔
کم لاگت کسٹم فائن ٹیوننگ: اوپن سورس سیلف ری پلے فائن ٹیوننگ کے ذریعے نئی مہارتیں سیکھتے ہوئے پرانی صلاحیتیں برقرار رکھنا۔

WeChat پر فالو کریں اور “开源” کا جواب دیں، AI اوپن سورس پروجیکٹ کمیونٹی گروپ میں شامل ہوں
پیشگی ماہر شیڈولنگ (LES): MoE ماڈل کے 65.6 GiB وزن مکمل طور پر میموری میں نہیں سما سکتے، اس لیے زیادہ تر ماہرین SSD میں محفوظ کیے جاتے ہیں اور ضرورت کے وقت پڑھے جاتے ہیں۔ تاہم، ہر پرت کی روٹنگ پچھلی پرت کے نتیجے پر منحصر ہونے کی وجہ سے ہر پرت کو ڈسک سے ڈیٹا پڑھنے کے دوران انتظار کرنا پڑتا ہے۔ LES ملحقہ پرتوں کے ان پٹس کی بلند مماثلت سے فائدہ اٹھاتے ہوئے موجودہ پرت کی روٹنگ خصوصیات سے اگلی پرت کے مطلوبہ ماہرین کی پیشگی پیش گوئی کرتا اور انہیں پس منظر میں پہلے سے لوڈ کرتا ہے، جبکہ پہلے سے لوڈ شدہ اور حقیقی روٹنگ میں منتخب ماہرین کو ترجیحی طور پر حساب میں شامل کرتا ہے۔ اس طرح حساب اور پڑھنے کا عمل بیک وقت جاری رہتا ہے؛ عملی تجربات میں رفتار 5 گنا بڑھی اور آؤٹ پٹ میں کوئی نقصان نہیں ہوا۔
وزن کے ذخیرے اور حصول کی اصلاح: ہر پرت کے لیے مخلوط درستگی والی کوانٹائزیشن کے ذریعے وزن کے ذخیرے کے حجم اور منتقلی کی مقدار کم کی جاتی ہے۔ ساتھ ہی فائل میں ماہرین کے وزن کی ترتیب نو کی جاتی ہے؛ پہلے تین مقامات پر بکھرے پیرامیٹرز کو نمبر کے مطابق مسلسل ترتیب دیا جاتا ہے، تاکہ SSD کی ایک ہی مسلسل ریڈ سے مکمل ماہر حاصل ہو سکے اور لوڈنگ کا خرچ نمایاں طور پر کم ہو۔
بصری token کمپریشن: LLaVA-UHD v4 کی بنیاد پر بصری انکوڈر کے اندر ہی tokens کو پہلے سے کمپریس کیا جاتا ہے، جس سے ابتدا ہی سے بعد کی کمپیوٹنگ کم ہو جاتی ہے۔ 4 گنا اور 16 گنا کمپریشن کے دو موڈ دستیاب ہیں؛ 16 گنا موڈ میں اہم اشاریے تقریباً بغیر نقصان کے برقرار رہتے ہیں، جس سے تصویری تفصیل اور حقیقی وقت کی تعامل پذیری دونوں حاصل ہوتی ہیں۔
DSpark قیاسی ڈیکوڈنگ: ہلکا ڈرافٹ ماڈیول ایک بار میں متعدد ممکنہ tokens تیار کرتا ہے، پھر مرکزی ماڈل انہیں متوازی طور پر جانچ کر بیچ کی صورت میں آؤٹ پٹ تیار کرتا ہے۔ متعدد tokens MoE کے ماہرین کو پڑھنے اور شیڈول کرنے جیسے مستقل اخراجات میں حصہ لیتے ہیں؛ عملی تجربات میں تخلیق کی رفتار اوسطاً 1.17 گنا بڑھی اور معیار متاثر نہیں ہوا۔

ماڈل حاصل کریں: GitHub اور Hugging Face سے ماڈل کے وزن اور کوڈ ڈاؤن لوڈ کریں۔
مقامی فوری تجربہ: Hugging Face Spaces پر موجود سرکاری Web Demo (MiniCPM-V-4.7-Demo) کھول کر انسٹالیشن کے بغیر آن لائن آزمائیں۔
App انسٹال کریں: GitHub کے MiniCPM-V-Apps ریپوزٹری سے iOS/Android کلائنٹ ڈاؤن لوڈ کریں اور موبائل فون یا ٹیبلٹ پر براہ راست انسٹال کر کے استعمال کریں۔
انفرنس فریم ورک منتخب کر کے تعینات کریں: ہارڈویئر پلیٹ فارم کے مطابق llama.cpp، Ollama، MLX یا vLLM/SGLang میں سے کسی ایک کو منتخب کر کے ماڈل لوڈ کریں اور مقامی انفرنس سروس تعینات کریں۔
LES ایکسیلیریشن فعال کریں (اختیاری): ڈیوائس پر 35B-A3B چلانے کے لیے اوپن سورس دستاویزات کے مطابق پیشگی ماہر شیڈولنگ فعال کریں، تاکہ 3GB میموری میں رواں کارکردگی حاصل ہو سکے۔
بصری کمپریشن موڈ منتخب کریں: ضرورت کے مطابق 4 گنا یا 16 گنا کمپریشن موڈ تبدیل کریں۔

GitHub ریپوزٹری：https://github.com/OpenBMB/MiniCPM-V
HuggingFace ماڈل لائبریری：https://huggingface.co/collections/openbmb/minicpm-v-47

ڈیوائس پر MoE کا عالمی اولین ماڈل: دنیا کا پہلا اوپن سورس MoE ملٹی موڈل بڑا ماڈل جو ڈیوائس پر معیار کھوئے بغیر رواں انداز میں چل سکتا ہے۔
انتہائی مؤثر میموری استعمال: 65.6 GiB وزن والا 35B ماڈل صرف تقریباً 3GB میموری میں چلتا ہے، جو 16GB ڈیوائس میموری کا 1/4 ہے۔
انفرنس کی نمایاں رفتار: iPhone 17 Pro Max پر عملی طور پر 13+ tokens/s، iPad Pro M4 پر 17+ tokens/s؛ LES ٹیکنالوجی رفتار کو 5 گنا بڑھاتی ہے۔
ہم پلہ ماڈلز سے جامع برتری: 34 مستند بینچ مارکس میں Qwen3.6-35B-A3B سے آگے، حتیٰ کہ بڑے Qwen 27B اور Gemma-4 31B سے بھی بہتر۔
کارکردگی اور کارکردگی کی لاگت میں پاریٹو بہترین توازن: کم انفرنس وقت میں زیادہ مجموعی اسکور حاصل کرتے ہوئے ڈیوائس پر ملٹی موڈل کارکردگی اور کارکردگی کی نئی حد قائم کرتا ہے۔
دو ورژنز سے وسیع رسائی: 35B فلیگ شپ کارکردگی کی بالائی حد بلند کرتا ہے، جبکہ 1B کا طاقتور چھوٹا ورژن ابتدائی سطح کے آلات پر بھی اعلیٰ معیار کی ملٹی موڈل صلاحیت فراہم کرتا ہے۔

موبائل دفتری کام اور دستاویزات کی پروسیسنگ: موبائل فون یا ٹیبلٹ سے براہ راست تصویر لیں یا PDF درآمد کریں، حقیقی وقت میں متن کی شناخت، جدول کا استخراج، چارٹ کی تفہیم اور دستاویز سے متعلق سوال و جواب مکمل کریں۔ کلاؤڈ پر اپ لوڈ کیے بغیر رازداری کا تحفظ کرتے ہوئے موبائل دفتری کارکردگی بہتر بنائیں۔
آف لائن تعلیمی معاونت: طلبہ نیٹ ورک کے بغیر آلات پر تصویر کھینچ کر سوال حل کر سکتے ہیں، ریاضیاتی استدلال اور سائنسی سوال و جواب انجام دے سکتے ہیں۔ 35B ماڈل کا ڈیوائس پر چلنا اعلیٰ معیار کے AI استاد کو کمزور نیٹ ورک والے علاقوں تک پہنچاتا ہے۔
گاڑیوں اور روبوٹس کی بصارت: Day-0 چپ موافقت کی بدولت ماڈل گاڑیوں کے انفوٹینمنٹ سسٹمز اور روبوٹ ٹرمینلز میں تعینات کیا جا سکتا ہے، جہاں حقیقی وقت میں ماحول کی شناخت، رکاوٹوں کی تفہیم اور انسان و مشین بصری تعامل ممکن ہوتا ہے۔
ویڈیو مواد کی تفہیم اور نگرانی: طویل ویڈیو فہم کی صلاحیت ڈیوائس پر ریکارڈ کی گئی طویل ویڈیوز کے خلاصے، کلیدی فریم پر سوال و جواب اور ضابطہ جاتی جانچ کی معاونت کرتی ہے، جو سیکیورٹی معائنوں اور مواد کی تخلیق جیسے منظرناموں کے لیے موزوں ہے۔