Xiaomi-OCR-0 آپریشن میں

Xiaomi-OCR-0 ژیاؤمی کا اوپن سورس 0.8B ہلکا پھلکا ملٹی موڈل دستاویز فہم ماڈل ہے، جو Qwen3.5-0.8B پر تربیت یافتہ ہے اور دستاویز پارسنگ، اہم معلومات کے اخراج اور OCR بصری سوال و جواب کو یکجا کرتا ہے۔ Real5-OmniDocBench میں 95.24 پوائنٹس کے ساتھ پہلے، OmniDocBench v1.6 میں 96.83 پوائنٹس کے ساتھ دوسرے نمبر پر ہے، جبکہ پانچوں OCR-VQA میں 83.2 کی اوسط کے ساتھ ہم پلہ ماڈلز سے بہتر کارکردگی دکھاتا ہے۔ Xiaomi-OCR-0 کا ڈیٹا انجن ماہرین کی متفقہ لیبلنگ اور رینڈرنگ تصدیق استعمال کرتا ہے، اور MCP و Agent Skill ٹول چین کے ساتھ آتا ہے۔ اسے ژیاؤمی کے موبائل فونز کے ”سپر ژیاؤآئی“ میں عملی طور پر استعمال کیا جا چکا ہے۔

دستاویز پارسنگ: دستاویز میں موجود متن، پیچیدہ جدولوں اور ریاضیاتی فارمولوں کو شناخت کرکے اصل ترتیبِ مطالعہ کے مطابق Markdown/LaTeX ساختی نتائج میں بحال کرتا ہے۔
اہم معلومات کا اخراج (KIE): رسیدوں، کارڈز اور دیگر نیم ساختی دستاویزات کے لیے مخصوص فیلڈز کو درست طور پر تلاش کرکے JSON ساختی ڈیٹا میں آؤٹ پٹ کرتا ہے۔
OCR بصری سوال و جواب: صرف متن کی نقل تک محدود نہیں، بلکہ دستاویزات اور چارٹس میں مختلف عناصر کے درمیان تلاش، عددی حساب اور معنوی استدلال پر مبنی سوال و جواب بھی فراہم کرتا ہے۔

WeChat پر فالو کریں اور ”اوپن سورس“ کا جواب بھیج کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
متضاد ماہرین کی متفقہ لیبلنگ (ETC): فن تعمیر، ڈیٹا اور حکمتِ عملی میں مختلف 8 OCR ماہر ماڈلز دستاویز کے علاقوں کی آزادانہ پیش گوئی کرتے ہیں۔ متن (NED)، جدول (TEDS) اور فارمولے (CDM) کے لیے جوڑیوں کی باہمی مطابقت الگ الگ شمار کی جاتی ہے، پھر سب سے زیادہ اتفاق رکھنے والے تین نمونے منتخب کرکے ان کا درمیانی اکثریتی نتیجہ فرضی لیبل کے طور پر استعمال کیا جاتا ہے؛ صرف ≥0.9 اتفاق رکھنے والے اعلیٰ اعتماد کے نمونے براہِ راست تربیتی سیٹ میں شامل کیے جاتے ہیں، جس سے ایک ماڈل کے تعصب کو ابتدا ہی میں ختم کیا جاتا ہے۔
رینڈرنگ سے رہنمائی حاصل کرنے والی تصدیق (Render-Guided Refine-and-Judge): ماہرین کی مختلف آراء والے علاقوں کے لیے Qwen3.5-122B-A10B امیدوار پارسنگ نتائج کو دوبارہ تصویر میں رینڈر کرتا ہے، پھر اصل علاقے کے ساتھ پکسل اور ساختی سطح پر موازنہ کرکے قطار یا کالم کی بے ترتیبی اور علامتوں کی کمی جیسی پوشیدہ خامیوں کی نشاندہی کرتا ہے۔ یہ عمل زیادہ سے زیادہ 3 مراحل تک دہرایا جاتا ہے؛ جو نتائج پھر بھی ہم آہنگ نہ ہوں، انہیں مکمل تصدیقی تاریخ کے ساتھ دوسرے مرحلے ”تشخیص—درستگی—تصدیق“ میں بھیجا جاتا ہے۔ آخرکار قبول کیے جانے سے پہلے انہیں دوبارہ ماہرین کے مجموعے میں متفقہ نتیجے تک پہنچنا ہوتا ہے۔
نمونہ کان کنی اور ہدفی ترکیب: تربیتی تناسب کا تعین تین اشاروں، یعنی ماہرین کا اتفاق، ماڈل کی داخلی مطابقت اور K-Means معنوی کلسٹرنگ، کے امتزاج سے کیا جاتا ہے۔ اس بنیاد پر CPT کے وسیع کوریج والے مخلوط سیٹ اور RL کے مشکل نمونوں والے سیٹ الگ الگ بنائے جاتے ہیں؛ ترکیبی ڈیٹا کو ”کوریج پر مبنی“ اور ”ناکامی پر مبنی“ دو راستوں سے تیار کیا جاتا ہے، اور کسی بھی ترکیب کو اپنانے سے پہلے اس کے اثرات منجمد توثیقی سیٹ پر جانچے جاتے ہیں۔
تدریجی تین مرحلہ تربیت: پہلے Q-Mask کے ذریعے متن کو اینکر بنا کر پری ٹریننگ کی جاتی ہے، تاکہ متنی مواد اور مقامی پوزیشن کے درمیان باریک سطح کی ہم آہنگی قائم ہو؛ پھر کثیر کاموں والی OCR مسلسل پری ٹریننگ کے ذریعے اسی خودکار تخلیقی فارمیٹ میں مکمل صفحہ پارسنگ، علاقائی شناخت اور VQA جیسے کام شامل کیے جاتے ہیں؛ آخر میں دریافت کیے گئے مشکل نمونوں پر DAPO طرز کی Mix-RL تقویتی تربیت سے عمل مکمل کیا جاتا ہے، جس میں کام کی قسم کے مطابق انعامات دیے جاتے ہیں اور قابلِ تصدیق انعام کے ذریعے پیچیدہ لے آؤٹ اور متعدد مراحل پر مشتمل استدلال کی حد توڑی جاتی ہے۔

کوڈ حاصل کریں: GitHub ریپوزٹری SeerRay-Lab/Xiaomi-OCR-0 کلون کریں اور requirements میں دیے گئے انحصارات انسٹال کریں۔
وزن ڈاؤن لوڈ کریں: Hugging Face سے SeerRay-Lab/Xiaomi-OCR-0 کے 0.8B ماڈل وزن حاصل کریں۔
فوری تجربہ: پروجیکٹ کے ساتھ موجود اسکرپٹ چلا کر براؤزر میں انٹرایکٹو Demo شروع کریں، پھر دستاویز کی تصویر اپ لوڈ کرکے پارسنگ، اخراج اور سوال و جواب آن لائن آزمائیں۔
Agent کالز کی تشکیل: ریپوزٹری کی MCP سروس یا Agent Skill کو اپنے ایجنٹ سے منسلک کریں، تاکہ ”اسکرین/دستاویز کی شناخت—فیلڈز کا اخراج—اگلا قدم انجام دینا“ خودکار عمل بن سکے۔
مقامی سروس کی تعیناتی: SGLang یا vLLM کے ذریعے ماڈل کو مقامی استدلالی سروس کے طور پر تعینات کریں، تاکہ کاروباری نظام API کے ذریعے اسے کال کر سکیں۔
لے آؤٹ ڈیٹیکشن شامل کریں: دو مرحلہ پائپ لائن میں پہلے PP-DocLayoutV3 سے متن، جدول اور فارمولے کے علاقے شناخت کریں، پھر ہر علاقے کو Xiaomi-OCR-0 میں بھیج کر شناخت کریں اور صفحہ سطح کے نتائج مرتب کریں۔
ہدایات لکھیں: یکساں image–instruction–response فارمیٹ میں پرامپٹ تیار کریں اور پارسنگ، KIE یا VQA کام کی قسم واضح طور پر متعین کریں۔

انتہائی مؤثر پیرامیٹر استعمال: صرف 0.8B پیرامیٹرز کے ساتھ OmniDocBench v1.6 میں 96.83 پوائنٹس حاصل کرتا ہے، اور 0.8B–1.2B کے خصوصی ماڈلز GPT-5.2، Qwen3-VL-235B جیسے عمومی بڑے ماڈلز سے مکمل طور پر بہتر کارکردگی دکھاتے ہیں۔
حقیقی ڈیٹا پر مبنی مضبوطی میں سرفہرست: Real5-OmniDocBench میں 95.24 پوائنٹس کے ساتھ پہلے نمبر پر ہے، اور اسکین، کاغذ کا مڑنا، اسکرین کی دوبارہ تصویر، غیر یکساں روشنی اور ترچھی تصویر کشی، پانچوں مداخلتی حالات میں سبقت رکھتا ہے۔
تین صلاحیتیں ایک ساتھ: دستاویز پارسنگ، اہم معلومات کا اخراج اور OCR بصری سوال و جواب ایک ہی ماڈل میں یکجا ہیں۔ مشترکہ ہدایتی انٹرفیس کے ذریعے کام بدلا جا سکتا ہے، متعدد خصوصی ماڈلز کو جوڑنے کی ضرورت نہیں۔
ڈیٹا انجن نے پیرامیٹرز کے اضافے کی جگہ لے لی: 170 ملین نمونے ماہرین کے اتفاقی ووٹ، رینڈرنگ سے رہنمائی والی تصدیق اور ناکامی پر مبنی خودکار ترکیب سے تیار کیے جاتے ہیں، یعنی ماڈل کے حجم کے بجائے ڈیٹا کے معیار کو بہتر بنایا جاتا ہے۔
نصاب پر مبنی سیکھنے کی مثبت منتقلی: پارسنگ پختہ ہونے کے بعد فہم سے حاصل ہونے والی نگرانی پارسنگ کو واپس فائدہ پہنچاتی ہے، جس سے زیادہ سے زیادہ +0.64 پوائنٹس کا اضافہ ہوتا ہے اور ہلکے ماڈل میں دوہری صلاحیتوں میں نمایاں بہتری آتی ہے۔

پروجیکٹ کی ویب سائٹ: https://huggingface.co/spaces/xiaomi-research/Xiaomi-OCR-0
GitHub ریپوزٹری: https://github.com/xiaomi-research/Xiaomi-OCR-0
HuggingFace ماڈل ریپوزٹری: https://huggingface.co/xiaomi-research/Xiaomi-OCR-0
arXiv تکنیکی مقالہ: https://arxiv.org/pdf/2609.36136

روزمرہ کی فوری رسیدوں کا انتظام: کھانے کی ڈیلیوری کے وصولی کوڈ، کورئیر وصولی کوڈ، قطار نمبر اور دیگر وقت حساس معلومات کو شناخت کرکے ”جزیرے“ میں شامل کرتا ہے، تاکہ ضرورت کے وقت ایک لمس سے دستیاب ہوں۔
ذہین حساب کتاب اور بلوں کی ترتیب: WeChat/Alipay بل کی تفصیلات سے رقم، تاجر، وقت اور زمرہ ایک کلک میں اخذ کرکے حساب کتاب کا ریکارڈ خودکار طور پر تیار کرتا ہے۔
کارڈز اور رسیدوں کا ساختی اندراج: تصویر کھینچ کر یا اسکرین کو شناخت کے ذریعے شناختی کارڈ، بینک کارڈ، رسید، پاسپورٹ اور دیگر فیلڈز کو JSON میں اخذ کرتا ہے، جس سے دستی اندراج اور جانچ کی ضرورت ختم ہو جاتی ہے۔
ذہین شیڈول سازی: گروپ چیٹ کے اعلانات اور سرگرمیوں کے پوسٹرز سے وقت اور مقام اخذ کرکے شیڈول کارڈ خودکار طور پر تیار کرتا ہے اور اسے کیلنڈر میں شامل کرتا ہے۔
سفری معلومات کا باہمی ربط: چیٹ سے پرواز نمبر جیسی سفری معلومات اخذ کرکے حقیقی وقت کی آمد و روانگی کی صورتحال خودکار طور پر معلوم کرتا ہے اور یاد دہانی بھیجتا ہے۔