Xiaomi-OCR-0 Inafanya kazi

Xiaomi-OCR-0 ni modeli nyepesi ya uelewa wa hati za aina nyingi yenye vigezo bilioni 0.8, iliyotolewa na Xiaomi kama chanzo huria na kufunzwa kwa Qwen3.5-0.8B. Inaunganisha uchanganuzi wa hati, uchimbaji wa taarifa muhimu na maswali-jibu ya kuona ya OCR. Imepata alama 95.24 na kushika nafasi ya kwanza katika Real5-OmniDocBench, alama 96.83 na nafasi ya pili katika OmniDocBench v1.6, huku wastani wa 83.2 katika majaribio matano ya OCR-VQA ukiishinda miundo ya kiwango chake. Injini ya data ya Xiaomi-OCR-0 hutumia uwekaji lebo wa makubaliano ya wataalamu na uthibitishaji wa uwasilishaji; ikiwa na zana za MCP na Agent Skill, tayari imetumika katika simu za Xiaomi kwenye “Super XiaoAI”.

Uchanganuzi wa hati: Hutambua na kurejesha maandishi, majedwali changamano na fomula za hisabati katika hati, kisha kutoa matokeo yaliyopangwa ya Markdown/LaTeX kwa mpangilio wa asili wa usomaji.
Uchimbaji wa taarifa muhimu (KIE): Kwa hati zenye muundo wa nusu, kama ankara na kadi za utambulisho, hutambua kwa usahihi sehemu zilizobainishwa na kutoa data iliyopangwa katika muundo wa JSON.
Maswali-jibu ya kuona ya OCR: Zaidi ya kubadilisha maandishi, huwezesha utafutaji kati ya vipengele vya hati na chati, ukokotoaji wa thamani na maswali-jibu ya kimantiki.

Fuatilia WeChat na ujibu “开源” ili ujiunge na kundi la mawasiliano la miradi ya AI ya chanzo huria
Uwekaji lebo wa makubaliano ya wataalamu mseto (ETC): Miundo 8 ya wataalamu wa OCR yenye usanifu, data na mikakati tofauti hutabiri maeneo ya hati kwa kujitegemea. Kiwango cha makubaliano ya jozi huhesabiwa kwa maandishi (NED), majedwali (TEDS) na fomula (CDM) mtawalia; kisha seti tatu yenye makubaliano ya juu zaidi huchaguliwa na thamani ya kati hutumika kama lebo ghushi. Sampuli zenye uaminifu wa juu wa makubaliano ≥0.9 pekee ndizo huingia moja kwa moja kwenye seti ya mafunzo, hivyo kuondoa upendeleo wa modeli moja tangu chanzo.
Uthibitishaji unaoongozwa na uwasilishaji (Render-Guided Refine-and-Judge): Kwa maeneo ambayo wataalamu hawakubaliani, Qwen3.5-122B-A10B hutumia tena matokeo ya uchanganuzi yaliyopendekezwa na kuyawasilisha kama picha, kisha huyalinganisha na eneo la awali kwa kiwango cha pikseli na muundo ili kubaini hitilafu fiche kama upangaji mbaya wa safu na nguzo au alama zilizokosekana. Hurekebisha kwa hadi mizunguko 3; yasiyofikia muafaka huingia awamu ya pili yenye historia kamili ya uthibitishaji ya “utambuzi—marekebisho—uthibitishaji”, na hatimaye lazima yarudi kwenye kundi la wataalamu ili kufikia makubaliano tena kabla ya kukubaliwa.
Uchimbaji wa sampuli na usanisi lengwa: Uwiano wa mafunzo huamuliwa kwa pamoja na ishara tatu: kiwango cha makubaliano ya wataalamu, uthabiti wa modeli yenyewe na uunganishaji wa kisemantiki wa K-Means. Kwa msingi huo, seti pana mchanganyiko ya CPT na seti ya mifano migumu ya RL huundwa mtawalia. Data sintetiki huzalishwa kupitia njia mbili, “inayoendeshwa na ufunikaji” na “inayoendeshwa na kushindwa”, na mapishi hukubaliwa tu baada ya kuthibitishwa kwenye seti ya uthibitishaji iliyogandishwa.
Mafunzo ya hatua tatu ya maendeleo: Kwanza, maandishi huwekewa nanga kwa Q-Mask wakati wa mafunzo ya awali ili kuanzisha ulinganifu wa kina kati ya maudhui ya maandishi na nafasi. Kisha mafunzo ya awali ya OCR ya kazi nyingi huendelea, yakipanua katika muundo uleule wa kujizalisha kazi kama uchanganuzi wa ukurasa mzima, utambuzi wa eneo na VQA. Mwisho, kujifunza kwa kuimarisha kwa Mix-RL ya mtindo wa DAPO hutumiwa kwenye mifano migumu iliyochimbwa, huku zawadi zikipitishwa kulingana na aina ya kazi ili kuvuka mipaka ya miundo changamano na hoja za hatua nyingi kupitia zawadi zinazoweza kuthibitishwa.

Pata msimbo: Kili hazina ya GitHub SeerRay-Lab/Xiaomi-OCR-0 na usakinishe mazingira ya utegemezi yaliyo kwenye requirements.
Pakua uzani: Pakua faili za uzani za modeli ya 0.8B kutoka Hugging Face SeerRay-Lab/Xiaomi-OCR-0.
Jaribio la haraka: Endesha hati iliyojumuishwa kwenye mradi ili kuanzisha Demo shirikishi ya kivinjari, kisha pakia picha ya hati ili kujaribu uchanganuzi, uchimbaji na maswali-jibu mtandaoni.
Sanidi mwito wa Agent: Unganisha huduma ya MCP au Agent Skill kutoka kwenye hazina na wakala wako ili kutekeleza mtiririko wa kiotomatiki wa “kutambua skrini/hati—kuchota sehemu—kutekeleza hatua inayofuata”.
Usambazaji wa huduma ya ndani: Tumia SGLang au vLLM kusambaza modeli kama huduma ya ndani ya uelekezaji, ili mifumo ya biashara iweze kuiita kupitia API.
Unganisha utambuzi wa mpangilio: Unapotumia bomba la hatua mbili, kwanza tumia PP-DocLayoutV3 kutambua maeneo ya maandishi, majedwali na fomula, kisha tuma kila eneo kwa Xiaomi-OCR-0 ili itambue na kuunganisha matokeo ya kiwango cha ukurasa.
Andika maagizo: Tengeneza vidokezo kwa muundo mmoja wa image–instruction–response, ukibainisha aina ya kazi ya uchanganuzi, KIE au VQA.

Ufanisi wa hali ya juu wa vigezo: Ikiwa na vigezo bilioni 0.8 pekee, imepata alama 96.83 katika OmniDocBench v1.6; miundo maalumu ya 0.8B–1.2B imezidi kwa ujumla miundo mikubwa ya matumizi ya jumla kama GPT-5.2 na Qwen3-VL-235B.
Ustahimilivu bora katika data halisi: Ikiwa na alama 95.24 katika Real5-OmniDocBench, inaongoza katika matukio yote matano ya usumbufu: uchanganuzi, karatasi iliyopinda, picha ya skrini iliyopigwa upya, mwanga usio sawa na upigaji picha uliopinda.
Uwezo tatu katika modeli moja: Uchanganuzi wa hati, uchimbaji wa taarifa muhimu na maswali-jibu ya kuona ya OCR vimeunganishwa katika modeli moja. Kazi hubadilishwa kupitia kiolesura cha maagizo cha pamoja bila kuunganisha miundo mingi maalumu.
Injini ya data badala ya kuongeza vigezo: Sampuli milioni 170 huzalishwa kiotomatiki kupitia upigaji kura wa wataalamu, uthibitishaji unaoongozwa na uwasilishaji na usanisi unaoendeshwa na kushindwa, kwa kubadilisha ukubwa wa modeli na ubora wa data.
Ujifunzaji wa mtaala wenye uhamishaji chanya: Baada ya uelewa wa hati kukomaa, usimamizi wa uelewa huisaidia tena kazi ya uchanganuzi kwa hadi +0.64, na kuleta ongezeko la uwezo wa aina mbili katika modeli nyepesi.

Tovuti rasmi ya mradi: https://huggingface.co/spaces/xiaomi-research/Xiaomi-OCR-0
Hazina ya GitHub: https://github.com/xiaomi-research/Xiaomi-OCR-0
Maktaba ya modeli ya HuggingFace: https://huggingface.co/xiaomi-research/Xiaomi-OCR-0
Karatasi ya kiufundi ya arXiv: https://arxiv.org/pdf/2609.36136

Usimamizi wa papo hapo wa vocha za maisha: Hutambua taarifa zenye muda maalumu kama misimbo ya kuchukulia chakula kilichoagizwa, misimbo ya kuchukulia vifurushi na namba za foleni, kisha “kuiweka kwenye kisiwa” ili ipatikane kwa mguso mmoja inapohitajika.
Uhasibu mahiri na upangaji wa bili: Kwa mguso mmoja, huchota kiasi, mfanyabiashara, muda na aina kutoka kwenye maelezo ya bili za WeChat/Alipay na kutengeneza rekodi za uhasibu kiotomatiki.
Uingizaji uliopangwa wa kadi na hati: Kwa kupiga picha au kutambua skrini, huchota sehemu za kitambulisho, kadi ya benki, ankara na pasipoti katika JSON, badala ya uingizaji na ukaguzi wa mikono.
Uundaji mahiri wa ratiba: Huchota muda na eneo kutoka kwenye arifa za gumzo la kikundi na mabango ya matukio, hutengeneza kadi ya ratiba kiotomatiki na kuiongeza kwenye kalenda.
Uunganishaji wa taarifa za safari: Huchota taarifa za safari kama nambari ya ndege kutoka kwenye mazungumzo, kisha huangalia hali ya sasa ya kuondoka na kutua na kutuma vikumbusho.