MiniCPM-OCR آپریشن میں

MiniCPM-OCR، مینبنگ انٹیلیجنس کی جانب سے جاری اور اوپن سورس کیا گیا OCR ماڈلز کا سلسلہ ہے۔ MiniCPM-OCR 1.0 (1.3B) دستاویزات کی پارسنگ کے لیے مخصوص ماڈل ہے، جس نے Real5-OmniDocBench اور OCRBench v2 پر بیک وقت SOTA حاصل کیا ہے۔ DSpark ڈیکوڈنگ ایکسیلیریشن کے ذریعے اس کا تھروپٹ 1.217 صفحات/سیکنڈ تک پہنچتا ہے، یعنی یہ تیز بھی ہے اور درست بھی؛ MiniCPM-OCR Jev (2B) صنعت کا پہلا پارسنگ نتائج کا جائزہ لینے والا ماڈل ہے، جو آؤٹ پٹ کے معیار کا اسکور فراہم کرتا ہے، خودکار طور پر انسانی تصدیق سے مستثنیٰ نتائج کو چھانٹتا ہے اور افرادی لاگت کم کرتا ہے۔ MiniCPM-OCR مالیات، مالیاتی و ٹیکس، قانونی امور، طبی نگہداشت اور دیگر رازداری سے حساس شعبوں کے لیے موزوں ہے، اور مقامی طور پر ڈیوائس پر چلانے اور مزید فائن ٹیوننگ کی معاونت کرتا ہے۔

دستاویز پارسنگ اور ساخت化: رسیدوں، معاہدوں، رپورٹس، طبی ریکارڈز اور دیگر دستاویزات کی لے آؤٹ ساخت بحال کرکے Markdown یا فیلڈ پر مبنی ڈیٹا آؤٹ پٹ کرتا ہے۔
پیچیدہ لے آؤٹ کی شناخت: کثیر ستونی اخبارات، وسیع مالیاتی جدولوں، ہاتھ سے لکھے نوٹس، پیچیدہ میٹرکس فارمولوں، مہر سے ڈھکی دستاویزات سمیت سات عام منظرناموں کی معاونت کرتا ہے۔
تصویر کی خودکار تصحیح: گھومتی یا الٹی دستاویزات کی خودکار شناخت اور تصحیح کرتا ہے، انسانی طور پر سیدھا کرنے کی ضرورت نہیں رہتی۔
صفحات کے درمیان مواد کا انضمام: طویل دستاویزات کے مختلف صفحات کی معلومات کو یکجا کرکے آؤٹ پٹ کرتا ہے، جس سے کاروباری نظاموں کے انضمام میں سہولت ہوتی ہے۔
پارسنگ معیار کا جائزہ (Jev): کسی بھی OCR نظام کے پارسنگ نتائج کے لیے 0–1 معیار کا اسکور فراہم کرتا ہے اور فیصلہ کرتا ہے کہ نتیجہ قابلِ اعتماد ہے یا نہیں۔
انسانی تصدیق کی تقسیم: اسکور کی حد کے مطابق خودکار چھانٹی کرتا ہے؛ زیادہ اسکور والے نتائج بغیر جانچ کے محفوظ کیے جاتے ہیں اور کم اسکور والے انسانی تصدیق کے لیے بھیجے جاتے ہیں، جس سے تصدیقی کام کا بوجھ نمایاں طور پر کم ہوتا ہے۔
متعدد ماڈلز میں بہترین انتخاب: متعدد ماڈلز سے پارسنگ کے بعد Jev ہر حصے کا اسکور دے کر بہترین امتزاج منتخب کرتا ہے، جس سے مجموعی اسکور میں زیادہ سے زیادہ 0.25 کا اضافہ ہوتا ہے۔
اہم معلومات کا اخراج (KIE): مہر سے ڈھکے حصوں، رسیدوں اور دیگر منظرناموں سے اہم فیلڈ معلومات اخذ کرتا ہے۔

WeChat پر فالو کرکے “开源” کا جواب دیں اور AI اوپن سورس پروجیکٹس کے گروپ میں شامل ہوں
مضبوط بنیاد: MiniCPM-V 4.6 ملٹی موڈل ماڈل پر تربیت یافتہ ہے اور MiniCPM-V/o سیریز میں جمع کیے گئے بڑے پیمانے کے اعلیٰ معیار کے دستاویزاتی پری ٹریننگ ڈیٹا کو دوبارہ استعمال کرتا ہے۔ اس کے نتیجے میں ماڈل OCR کی خصوصی تربیت سے پہلے ہی تصاویر اور دستاویزات کو سمجھنے کی مضبوط صلاحیت رکھتا ہے، لہٰذا تربیت کو شناخت کی درستگی اور ساختی آؤٹ پٹ پر مرکوز کیا جا سکتا ہے۔
نفیس معماری: LLaVA-UHDv4 کی مؤثر بصری ٹکڑوں کی اسکیم استعمال کرتا ہے، جس سے اعلیٰ ریزولوشن والی تصاویر کے ساتھ حسابی لاگت میں بے تحاشا اضافہ نہیں ہوتا؛ خودکار Upright اور موافق Upsize کے دونوں ڈیزائن شامل ہیں۔
ڈیٹا ترکیب اور تقویتی لرننگ: حقیقی منظرناموں کی بڑی تعداد سے بنیادی ڈیٹا جمع کرکے Agentic ترکیب کے ذریعے بڑے پیمانے پر توسیع کرتا ہے، جبکہ حقیقی خصوصیات اور تنوع دونوں برقرار رکھتا ہے؛ پھر حقیقی پیچیدہ منظرناموں کی بنیاد پر بڑے پیمانے کی تقویتی لرننگ کے ذریعے طویل دم والے نمونوں کی پارسنگ کا معیار بہتر بناتا ہے۔
DSpark ڈیکوڈنگ ایکسیلیریشن: ہلکا پھلکا ڈرافٹ ماڈیول ایک بار میں متعدد امیدوار token پیش کرتا ہے اور مرکزی ماڈل انہیں ایک ہی بار متوازی طور پر جانچتا ہے، یوں ہر token کو الگ الگ پیدا کرنے کی ضرورت ختم ہوجاتی ہے۔ معیار قربان کیے بغیر اینڈ ٹو اینڈ کارکردگی میں 55% اضافہ ہوتا ہے۔
Jev کا تیز سوچ پر مبنی امتیازی طریقہ: System-1 ڈیزائن استعمال کرتا ہے، جس میں ایک ہی بار فارورڈ prefill حساب اور خودکار طور پر واپس آنے والی ڈیکوڈنگ کے بغیر انتہائی کم تاخیر حاصل ہوتی ہے، اس لیے یہ بار بار ہونے والی معیار جانچ کے دروازے کے طور پر استعمال کیا جا سکتا ہے؛ حقیقی انسانی لیبل شدہ بلاک سطح کی درستگی کے ٹیگز پر تربیت یافتہ ہونے کی وجہ سے اسکور کو براہ راست کاروباری حد کے طور پر استعمال کیا جا سکتا ہے۔

مقامی تعیناتی اور استدلال: Hugging Face CLI کے ذریعے ماڈل کے وزن ڈاؤن لوڈ کریں (openbmb/MiniCPM-OCR-1.0 یا openbmb/MiniCPM-OCR-Jev)۔
استدلال کا فریم ورک انسٹال کریں (پہلے دن vLLM، SGLang، llama.cpp اور Ollama کے لیے موافقت؛ ضرورت کے مطابق کسی ایک کا انتخاب کریں۔ OpenBMB سیریز کے ماڈلز کے لیے عمومی آغاز کا طریقہ vllm serve openbmb/<模型名> --port 8000 ہے)۔
ہارڈویئر کے مطابق کوانٹائزڈ ورژن منتخب کریں۔ متعدد چپس اور کوانٹائزیشن فارمیٹس کی معاونت موجود ہے؛ ڈیوائس یا کم حسابی طاقت والے ماحول کے لیے GGUF/INT4 ورژن منتخب کیا جا سکتا ہے۔
دستاویز کی تصویر داخل کریں، ماڈل خودکار طور پر تصحیح، لے آؤٹ تجزیہ اور ساختی پارسنگ مکمل کرے گا، اور Markdown یا فیلڈ پر مبنی نتیجہ آؤٹ پٹ کرے گا۔

دوہری SOTA درستگی: Real5-OmniDocBench پر 93.68 اسکور اور OCRBench v2 پر 54.7 اسکور (اگلے بہترین ماڈل سے 7.7 اسکور آگے)، جبکہ 14 معروف ماڈلز کے 6 معیارات پر تقابلی جائزے میں 4 پہلی پوزیشنیں حاصل کیں۔
کارکردگی میں برتری: DSpark ڈیکوڈنگ ایکسیلیریشن سے اینڈ ٹو اینڈ کارکردگی میں 55% اضافہ ہوتا ہے اور تھروپٹ 1.217 صفحات/سیکنڈ تک پہنچتا ہے؛ کارکردگی اور نتائج کے بکھرے ہوئے گراف میں یہ واحد ”تیز ترین + درست ترین“ ماڈل ہے۔
انتہائی ہلکا: صرف 1.3B پیرامیٹرز کے ساتھ بڑے ماڈلز سے بہتر کارکردگی، ڈیوائس اور محدود حسابی طاقت والے ماحول کے لیے موزوں، اور رازداری کی ضروریات پوری کرنے کے لیے مقامی طور پر چلایا جا سکتا ہے۔
قابلِ اعتماد اور قابلِ امتیاز نتائج: Jev صنعت کا پہلا OCR معیار جانچنے والا ماڈل ہے۔ اس کا AUROC 93.6، 35B درجے کے امتیازی ماڈلز سے بہتر ہے، جس سے پہلی بار پہلے سے معلوم کیا جا سکتا ہے کہ ”کس صفحے کو انسانی تصدیق کی ضرورت ہے“۔
فوری استعمال کے لیے معیار جانچ: Jev کسی مخصوص OCR نظام سے منسلک نہیں ہے؛ GLM-OCR، PaddleOCR-VL اور دیگر متعدد نظاموں پر اس کا AUROC مستقل طور پر 91.9~93.4 رہتا ہے۔

GitHub ریپوزٹری：https://github.com/OpenBMB/MiniCPM-OCR
HuggingFace ماڈل ریپوزٹری： https://huggingface.co/openbmb/MiniCPM-OCR-1.0
https://huggingface.co/openbmb/MiniCPM-OCR-Jev

مالیاتی رسیدوں کی پروسیسنگ: بینک اسٹیٹمنٹس، چیکس اور رسیدوں کی خودکار شناخت اور ساختی اندراج؛ Jev کی معیار جانچ کے بعد زیادہ اسکور والی رسیدیں براہ راست محفوظ کی جاتی ہیں، جس سے کاؤنٹر پر انسانی اندراج کم ہوتا ہے۔
قانونی معاہدوں کا جائزہ: قانونی ادارے اور قانونی امور کے شعبے معاہدوں کے متن کو بڑے پیمانے پر پارس کر سکتے ہیں؛ مقامی طور پر چلانے سے دستاویزات ادارے سے باہر نہیں جاتیں، جبکہ Jev کے ساتھ زیادہ سے زیادہ 85% صفحات کو انسانی جانچ سے مستثنیٰ کیا جا سکتا ہے، جس سے تصدیقی وقت نمایاں طور پر کم ہوتا ہے۔
طبی ریکارڈز کی ڈیجیٹلائزیشن: اسپتال کاغذی طبی ریکارڈز اور ٹیسٹ رپورٹس کو ساختی الیکٹرانک ڈیٹا میں تبدیل کر سکتے ہیں؛ نجی تعیناتی مریضوں کی رازداری اور ضابطہ جاتی تقاضوں کو پورا کرتی ہے۔
سرکاری ریکارڈز کا انتظام: سرکاری دستاویزات، شناختی دستاویزات اور مہر شدہ فائلوں کی شناخت اور اہم معلومات کا اخراج (KIE)، جس سے مہروں کے نیچے موجود اہم فیلڈز خودکار طور پر اخذ کیے جاتے ہیں۔