Xiaomi-OCR-0 চালু আছে

Xiaomi-OCR-0 হলো Xiaomi-এর ওপেন সোর্স 0.8B হালকা মাল্টিমোডাল ডকুমেন্ট বোঝাপড়ার মডেল, যা Qwen3.5-0.8B-এর ওপর প্রশিক্ষিত। এতে ডকুমেন্ট পার্সিং, গুরুত্বপূর্ণ তথ্য আহরণ এবং OCR ভিজ্যুয়াল প্রশ্নোত্তর একত্রিত করা হয়েছে। Real5-OmniDocBench-এ 95.24 স্কোর নিয়ে প্রথম, OmniDocBench v1.6-এ 96.83 স্কোর নিয়ে দ্বিতীয় এবং পাঁচটি OCR-VQA-তে গড় 83.2 স্কোর করে সমমানের মডেলকে ছাড়িয়ে গেছে। Xiaomi-OCR-0-এর ডেটা ইঞ্জিনে বিশেষজ্ঞ ঐকমত্যভিত্তিক লেবেলিং ও রেন্ডারিং যাচাই ব্যবহৃত হয়। MCP ও Agent Skill টুলচেইনের সহায়তায় এটি Xiaomi ফোনের “সুপার XiaoAI”-তে বাস্তবায়িত হয়েছে।

ডকুমেন্ট পার্সিং: ডকুমেন্টের মূল লেখা, জটিল টেবিল ও গাণিতিক সূত্র শনাক্ত এবং পুনর্গঠন করে স্বাভাবিক পাঠক্রম অনুযায়ী Markdown/LaTeX কাঠামোবদ্ধ ফলাফল দেয়।
গুরুত্বপূর্ণ তথ্য আহরণ (KIE): ইনভয়েস, কার্ড ও অন্যান্য আধা-কাঠামোবদ্ধ ডকুমেন্টে নির্দিষ্ট ক্ষেত্র নির্ভুলভাবে শনাক্ত করে JSON কাঠামোবদ্ধ ডেটা দেয়।
OCR ভিজ্যুয়াল প্রশ্নোত্তর: শুধু লেখা রূপান্তরের বাইরে গিয়ে ডকুমেন্ট ও চার্টে উপাদানজুড়ে অনুসন্ধান, সংখ্যাগত গণনা এবং অর্থভিত্তিক যুক্তি-নির্ভর প্রশ্নোত্তর সমর্থন করে।

WeChat-এ ফলো করে “ওপেন সোর্স” লিখে উত্তর দিন, AI ওপেন সোর্স প্রকল্পের গ্রুপে যোগ দিন
হেটেরোজেনিয়াস বিশেষজ্ঞ ঐকমত্য লেবেলিং (ETC): স্থাপত্য, ডেটা ও কৌশলে ভিন্ন 8টি OCR বিশেষজ্ঞ মডেল ডকুমেন্টের অঞ্চলগুলো স্বাধীনভাবে পূর্বাভাস দেয়। লেখা (NED), টেবিল (TEDS) ও সূত্রের (CDM) জন্য জোড়ায় জোড়ায় সামঞ্জস্য গণনা করে সর্বোচ্চ ঐকমত্যের ত্রয়ী বেছে নেওয়া হয় এবং তার মধ্যম মানকে ছদ্ম-লেবেল হিসেবে নেওয়া হয়। কেবল ≥0.9 ঐকমত্যের উচ্চ-নির্ভরযোগ্যতার নমুনা সরাসরি প্রশিক্ষণ সেটে যায়, ফলে শুরুতেই একক মডেলের পক্ষপাত বাদ পড়ে।
রেন্ডার-নির্দেশিত যাচাই (Render-Guided Refine-and-Judge): বিশেষজ্ঞদের মতভেদ থাকা অঞ্চলগুলোর সম্ভাব্য পার্সিং ফলাফল Qwen3.5-122B-A10B দিয়ে পুনরায় ছবিতে রেন্ডার করা হয়। এরপর মূল অঞ্চলের সঙ্গে পিক্সেল ও কাঠামোগত স্তরে তুলনা করে সারি-কলামের স্থানচ্যুতি, প্রতীক অনুপস্থিতি ইত্যাদি সূক্ষ্ম ত্রুটি শনাক্ত করা হয় এবং সর্বোচ্চ 3 দফা পুনরাবৃত্ত সংশোধন করা হয়। তবুও সমাধান না হলে সম্পূর্ণ যাচাই ইতিহাসসহ দ্বিতীয় ধাপের “নির্ণয়—সংশোধন—যাচাই”-তে পাঠানো হয়। চূড়ান্তভাবে গ্রহণের আগে বিশেষজ্ঞ পুলে ফিরে গিয়ে পুনরায় ঐকমত্য অর্জন করতে হয়।
স্যাম্পলিং মাইনিং ও লক্ষ্যভিত্তিক সংশ্লেষণ: বিশেষজ্ঞ ঐকমত্য, মডেলের স্ব-সামঞ্জস্য এবং K-Means অর্থভিত্তিক ক্লাস্টারিং—এই তিন সংকেত মিলিয়ে প্রশিক্ষণ অনুপাত নির্ধারণ করা হয়। এর ভিত্তিতে CPT-এর বিস্তৃত মিশ্র সেট এবং RL-এর কঠিন ও গুরুত্বপূর্ণ উদাহরণ সেট তৈরি হয়। সংশ্লেষিত ডেটা “কভারেজ-চালিত” ও “ব্যর্থতা-চালিত”—এই দুই পথে তৈরি হয় এবং হিমায়িত যাচাই সেটে রেসিপির ফল যাচাই করার পরই তা গ্রহণ করা হয়।
ক্রমিক তিন-ধাপের প্রশিক্ষণ: প্রথমে Q-Mask টেক্সট অ্যাঙ্করিং প্রি-ট্রেনিংয়ের মাধ্যমে লেখা ও স্থানিক অবস্থানের সূক্ষ্ম সমন্বয় তৈরি করা হয়। এরপর একই অটোরিগ্রেসিভ ফরম্যাটে বহু-কাজের OCR ধারাবাহিক প্রি-ট্রেনিং করা হয়, যাতে পূর্ণ-পৃষ্ঠা পার্সিং, অঞ্চল শনাক্তকরণ ও VQA-সহ বিভিন্ন কাজ যুক্ত হয়। শেষে খনন করা কঠিন উদাহরণে DAPO-ধাঁচের Mix-RL রিইনফোর্সমেন্ট লার্নিং চালানো হয়; কাজের ধরন অনুযায়ী পুরস্কার নির্ধারণ করে যাচাইযোগ্য পুরস্কারের মাধ্যমে জটিল লেআউট ও বহু-ধাপের যুক্তির সীমা অতিক্রম করা হয়।

কোড সংগ্রহ: GitHub রিপোজিটরি SeerRay-Lab/Xiaomi-OCR-0 ক্লোন করে requirements-এ থাকা নির্ভরতা ইনস্টল করুন।
ওজন ডাউনলোড: Hugging Face-এর SeerRay-Lab/Xiaomi-OCR-0 থেকে 0.8B মডেলের ওজন ফাইল ডাউনলোড করুন।
দ্রুত ব্যবহার: প্রকল্পের সঙ্গে থাকা স্ক্রিপ্ট চালিয়ে ব্রাউজারভিত্তিক ইন্টার‌্যাক্টিভ Demo চালু করুন; ডকুমেন্টের ছবি আপলোড করে অনলাইনে পার্সিং, তথ্য আহরণ ও প্রশ্নোত্তর পরীক্ষা করুন।
Agent কল কনফিগার করা: রিপোজিটরির MCP পরিষেবা বা Agent Skill আপনার এজেন্টে যুক্ত করে “স্ক্রিন/ডকুমেন্ট শনাক্ত—ক্ষেত্র আহরণ—পরবর্তী ধাপ সম্পাদন” স্বয়ংক্রিয় প্রবাহ বাস্তবায়ন করুন।
স্থানীয় পরিষেবা স্থাপন: SGLang বা vLLM ব্যবহার করে মডেলকে স্থানীয় ইনফারেন্স পরিষেবা হিসেবে স্থাপন করুন, যাতে ব্যবসায়িক সিস্টেম API-এর মাধ্যমে কল করতে পারে।
লেআউট শনাক্তকরণ যুক্ত করা: দুই-ধাপের পাইপলাইন ব্যবহার করলে প্রথমে PP-DocLayoutV3 দিয়ে লেখা/টেবিল/সূত্রের অঞ্চল শনাক্ত করুন, তারপর প্রতিটি অঞ্চল Xiaomi-OCR-0-তে পাঠিয়ে শনাক্ত ও একত্র করে পৃষ্ঠা-স্তরের ফলাফল তৈরি করুন।
নির্দেশ লেখা: একীভূত image–instruction–response ফরম্যাটে প্রম্পট তৈরি করে যথাক্রমে পার্সিং, KIE বা VQA কাজের ধরন নির্দিষ্ট করুন।

অসাধারণ প্যারামিটার দক্ষতা: মাত্র 0.8B প্যারামিটার নিয়ে OmniDocBench v1.6-এ 96.83 স্কোর করেছে; 0.8B–1.2B বিশেষায়িত মডেলগুলো GPT-5.2, Qwen3-VL-235B-এর মতো সাধারণ বড় মডেলকে সামগ্রিকভাবে ছাড়িয়ে গেছে।
বাস্তব সংগ্রহে সর্বোচ্চ স্থিতিস্থাপকতা: Real5-OmniDocBench-এ 95.24 স্কোর নিয়ে প্রথম; স্ক্যান, কাগজের ভাঁজ, স্ক্রিনের ছবি, অসম আলো ও কাত হয়ে তোলা ছবি—এই পাঁচ ধরনের বিঘ্নিত পরিস্থিতিতেই এগিয়ে।
তিন ক্ষমতা একত্রে: ডকুমেন্ট পার্সিং, গুরুত্বপূর্ণ তথ্য আহরণ এবং OCR ভিজ্যুয়াল প্রশ্নোত্তর একক মডেলে একীভূত। অভিন্ন নির্দেশ ইন্টারফেসে কাজ বদলানো যায়, একাধিক বিশেষায়িত মডেল জোড়ার প্রয়োজন নেই।
প্যারামিটার স্তূপের বদলে ডেটা ইঞ্জিন: ১৭ কোটি নমুনা বিশেষজ্ঞ ঐকমত্য ভোট, রেন্ডার-নির্দেশিত যাচাই ও ব্যর্থতা-চালিত সংশ্লেষণের মাধ্যমে স্বয়ংক্রিয়ভাবে তৈরি হয়; মডেলের আকারের বদলে ডেটার গুণমানকে কাজে লাগানো হয়।
কারিকুলাম লার্নিংয়ের ইতিবাচক স্থানান্তর: পার্সিং পরিণত হওয়ার পর বোঝাপড়ার তত্ত্বাবধান পার্সিংকে সর্বোচ্চ +0.64 স্কোরে উন্নত করে, ফলে হালকা মডেলে দ্বৈত সক্ষমতার উত্থান ঘটে।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://huggingface.co/spaces/xiaomi-research/Xiaomi-OCR-0
GitHub রিপোজিটরি: https://github.com/xiaomi-research/Xiaomi-OCR-0
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/xiaomi-research/Xiaomi-OCR-0
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2609.36136

তাৎক্ষণিক দৈনন্দিন রসিদ ও কোড ব্যবস্থাপনা: খাবার সংগ্রহের কোড, কুরিয়ার সংগ্রহের কোড, অপেক্ষার নম্বর ইত্যাদি সময়সীমাবদ্ধ তথ্য শনাক্ত করে “দ্বীপে” সংরক্ষণ করা, যাতে প্রয়োজনে এক স্পর্শে পাওয়া যায়।
স্মার্ট হিসাবরক্ষণ ও বিল গোছানো: WeChat/Alipay বিলের বিবরণ থেকে এক ক্লিকে পরিমাণ, ব্যবসায়ী, সময় ও শ্রেণি আহরণ করে স্বয়ংক্রিয়ভাবে হিসাবের রেকর্ড তৈরি করা।
কার্ড ও রসিদের কাঠামোবদ্ধ ইনপুট: ছবি তোলা বা স্ক্রিন শনাক্তকরণের মাধ্যমে পরিচয়পত্র, ব্যাংক কার্ড, ইনভয়েস, পাসপোর্ট ইত্যাদির ক্ষেত্র JSON-এ আহরণ করে হাতে লেখা ইনপুট ও যাচাইয়ের বিকল্প তৈরি করা।
স্মার্ট সময়সূচি তৈরি: গ্রুপ চ্যাটের বিজ্ঞপ্তি ও ইভেন্ট পোস্টার থেকে সময় ও স্থান আহরণ করে স্বয়ংক্রিয়ভাবে সময়সূচির কার্ড তৈরি এবং ক্যালেন্ডারে যোগ করা।
ভ্রমণ তথ্য সমন্বয়: চ্যাট থেকে ফ্লাইট নম্বরের মতো যাত্রা-সংক্রান্ত তথ্য আহরণ করে স্বয়ংক্রিয়ভাবে বাস্তবসময়ের উড্ডয়ন ও অবতরণ পরিস্থিতি খুঁজে সতর্কতা পাঠানো।