MiniCPM-OCR Inafanya kazi

MiniCPM-OCR ni mfululizo wa miundo ya OCR iliyotolewa na kufanywa kuwa chanzo huria na ModelBest. MiniCPM-OCR 1.0 (1.3B) ni muundo maalumu wa uchanganuzi wa nyaraka, unaoshikilia rekodi ya SOTA katika Real5-OmniDocBench na OCRBench v2, huku uongezaji kasi wa usimbuaji wa DSpark ukiufikisha uwezo wake wa uchakataji hadi kurasa 1.217 kwa sekunde, ukiwa wa haraka na sahihi; MiniCPM-OCR Jev (2B) ni muundo wa kwanza katika sekta wa kutathmini matokeo ya uchanganuzi, unaotoa alama ya ubora wa matokeo, kuchuja kiotomatiki matokeo yasiyohitaji ukaguzi wa binadamu na kupunguza gharama za wafanyakazi. MiniCPM-OCR inafaa kwa sekta za fedha, kodi na fedha, sheria, afya na mazingira mengine yanayohitaji usiri wa data, huku ikiunga mkono uendeshaji wa ndani kwenye kifaa na urekebishaji wa ziada wa muundo.

Uchanganuzi na upangaji wa nyaraka: Hurejesha mpangilio wa hati kama risiti, mikataba, ripoti na rekodi za matibabu, kisha kutoa Markdown au data iliyopangwa kwa uga.
Utambuzi wa mpangilio changamano: Huunga mkono matukio saba ya matumizi ya mara kwa mara, yakiwemo magazeti yenye safu nyingi, jedwali pana za fedha, maandishi ya mkono, fomula changamano za matriksi na nyaraka zilizofunikwa na mihuri.
Urekebishaji wa mwelekeo wa picha kiotomatiki: Hutambua na kurekebisha kiotomatiki nyaraka zilizozungushwa au kupinduliwa, bila kuhitaji upangaji wa mikono.
Kuunganisha maudhui ya kurasa mbalimbali: Huunganisha taarifa zinazovuka kurasa katika nyaraka ndefu na kutoa matokeo yanayofaa kuitwa na mifumo ya biashara.
Tathmini ya ubora wa uchanganuzi (Jev): Hutoa alama ya ubora ya 0–1 kwa matokeo ya uchanganuzi kutoka mfumo wowote wa OCR, na kutathmini kama matokeo yanaaminika.
Kugawa kazi ya ukaguzi wa binadamu: Huchuja kiotomatiki kulingana na kizingiti cha alama; matokeo yenye alama za juu huingizwa bila ukaguzi, huku yenye alama za chini yakipelekwa kwa binadamu, na hivyo kupunguza kwa kiasi kikubwa kazi ya ukaguzi.
Uteuzi wa matokeo bora kati ya miundo mingi: Baada ya uchanganuzi wa miundo mingi, Jev hupima kila eneo na kuchagua mchanganyiko bora, na kuongeza alama ya jumla hadi 0.25.
Uchimbaji wa taarifa muhimu (KIE): Huchimbua taarifa muhimu za sehemu kutoka katika matukio kama picha zilizofunikwa na mihuri na risiti ndogo.

Mfuate WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Msingi wenye nguvu: Imefunzwa kwa kutumia muundo wa multimodali MiniCPM-V 4.6, na kutumia tena data kubwa ya ubora wa juu ya mafunzo ya awali ya nyaraka iliyokusanywa na mfululizo wa MiniCPM-V/o. Hivyo, kabla ya mafunzo maalumu ya OCR, muundo tayari una uwezo thabiti wa kuelewa picha na nyaraka, na mafunzo yanaweza kulenga usahihi wa utambuzi na matokeo yaliyopangwa.
Usanifu ulioboreshwa: Hutumia mpango bora wa kugawanya picha wa LLaVA-UHDv4 ili kuzuia ongezeko la mahitaji ya hesabu linalosababishwa na picha zenye ubora wa juu; pia huunganisha miundo ya Upright kiotomatiki na Upsize inayojirekebisha.
Usanisi wa data na ujifunzaji wa kuimarisha: Hukusanya data ya mbegu kutoka katika matukio mengi halisi, kisha kuipanua kwa kiwango kikubwa kupitia usanisi wa Agentic huku ikidumisha sifa halisi na utofauti; baadaye hufanya ujifunzaji mkubwa wa kuimarisha kulingana na matukio changamano halisi ili kuboresha ubora wa uchanganuzi wa sampuli adimu.
Uongezaji kasi wa usimbuaji wa DSpark: Moduli nyepesi ya rasimu hupendekeza tokeni kadhaa kwa wakati mmoja, na muundo mkuu huzithibitisha kwa sambamba mara moja, badala ya kuzalisha tokeni moja baada ya nyingine. Hii huongeza ufanisi wa mwisho hadi mwisho kwa 55% bila kupunguza ubora.
Njia ya Jev ya tathmini ya haraka: Hutumia usanifu wa System-1, unaohitaji hesabu moja ya forward prefill bila usimbuaji wa autoregressive, hivyo kucheleweshwa ni kidogo sana na inaweza kutumika kama lango la ukaguzi wa ubora wa mara kwa mara; hufunzwa kwa lebo za usahihi wa vizuizi zilizowekwa na binadamu kutoka data halisi, hivyo alama zinaweza kutumika moja kwa moja kama kizingiti cha biashara.

Uendeshaji wa makisio ndani ya kifaa: Tumia Hugging Face CLI kupakua uzani wa muundo (openbmb/MiniCPM-OCR-1.0 au openbmb/MiniCPM-OCR-Jev).
Sakinisha mfumo wa makisio (siku ya kwanza unaunga mkono vLLM, SGLang, llama.cpp na Ollama; chagua mmoja kulingana na mahitaji. Njia ya jumla ya kuanzisha miundo ya mfululizo wa OpenBMB ni vllm serve openbmb/<模型名> --port 8000).
Chagua toleo la quantization kulingana na maunzi. Kuna uoanifu wa chipu nyingi na miundo mbalimbali ya quantization; kwa vifaa vya pembeni au mazingira yenye uwezo mdogo wa hesabu, unaweza kuchagua toleo la GGUF/INT4.
Ingiza picha za nyaraka; muundo utakamilisha kiotomatiki urekebishaji wa mwelekeo, uchanganuzi wa mpangilio na uchanganuzi uliopangwa, kisha kutoa Markdown au matokeo yaliyopangwa kwa uga.

Usahihi wa SOTA mbili: Alama 93.68 katika Real5-OmniDocBench na 54.7 katika OCRBench v2, ikiwa juu kwa alama 7.7 kuliko mshindani wa pili; katika ulinganisho wa miundo 14 maarufu kwenye viwango 6, ilishika nafasi ya kwanza katika 4.
Ufanisi unaoongoza: Uongezaji kasi wa usimbuaji wa DSpark huongeza ufanisi wa mwisho hadi mwisho kwa 55%, na uwezo wa uchakataji kufikia kurasa 1.217 kwa sekunde. Ni muundo pekee ulio “wa haraka zaidi na sahihi zaidi” katika mchoro wa ufanisi dhidi ya matokeo.
Uzito mdogo sana: Kwa vigezo 1.3B pekee, inaweza kushinda miundo mikubwa zaidi, inafaa kwa vifaa vya pembeni na mazingira yenye uwezo mdogo wa hesabu, na inaweza kuendeshwa ndani ya kifaa ili kukidhi mahitaji ya usiri.
Matokeo yanaaminika na yanaweza kutathminiwa: Jev ni muundo wa kwanza wa ukaguzi wa ubora wa OCR katika sekta, ukiwa na AUROC 93.6 na kuishinda miundo ya tathmini ya kiwango cha 35B, hivyo kufanya iwezekane kutabiri kwa mara ya kwanza “ni ukurasa gani unaohitaji ukaguzi wa binadamu”.
Ukaguzi wa ubora wa kutumia mara moja: Jev haifungamani na mfumo maalumu wa OCR; katika mifumo mingi kama GLM-OCR na PaddleOCR-VL, AUROC yake hudumu kati ya 91.9~93.4.

Hifadhi ya GitHub：https://github.com/OpenBMB/MiniCPM-OCR
Hifadhi ya miundo ya HuggingFace: https://huggingface.co/openbmb/MiniCPM-OCR-1.0
https://huggingface.co/openbmb/MiniCPM-OCR-Jev

Uchakataji wa hati za fedha: Utambuzi na uingizaji uliopangwa kiotomatiki wa taarifa za benki, hundi na stakabadhi za miamala. Baada ya ukaguzi wa ubora wa Jev, hati zenye alama za juu huingizwa moja kwa moja kwenye hifadhi, na kupunguza uingizaji wa mikono kwenye kaunta.
Ukaguzi wa mikataba ya kisheria: Kampuni za sheria na idara za sheria huchanganua mikataba kwa wingi. Uendeshaji wa ndani huhakikisha hati hazitoki kwenye eneo la ndani, huku Jev ikiruhusu hadi 85% ya kurasa kuingizwa bila ukaguzi na kupunguza kwa kiasi kikubwa muda wa uthibitishaji.
Ubadilishaji wa rekodi za matibabu kuwa dijitali: Hospitali hubadilisha rekodi za karatasi na ripoti za vipimo kuwa data ya kielektroniki iliyopangwa; uwekaji wa faragha hukidhi mahitaji ya utii wa kanuni za faragha ya wagonjwa.
Usimamizi wa kumbukumbu za serikali: Utambuzi wa hati rasmi, vitambulisho na nyaraka zilizopigwa muhuri, pamoja na uchimbaji wa taarifa muhimu (KIE), kwa uchimbaji wa kiotomatiki wa sehemu muhimu zilizofunikwa na mihuri.