MiniCPM-OCR 운영 중

MiniCPM-OCR은 면벽지능이 출시하고 오픈소스로 공개한 OCR 시리즈 모델입니다. MiniCPM-OCR 1.0(1.3B)은 문서 분석 전용 모델로, Real5-OmniDocBench와 OCRBench v2에서 모두 SOTA를 달성했으며, DSpark 디코딩 가속을 통해 처리량이 초당 1.217페이지에 달해 빠르고 정확합니다. MiniCPM-OCR Jev(2B)는 업계 최초의 분석 결과 판별 모델로, 출력 품질 점수를 제공하고 자동으로 무검수 결과와 수동 검증 결과를 선별하여 인건비를 절감합니다. MiniCPM-OCR은 금융, 재무·세무, 법무, 의료 등 개인정보 보호가 중요한 분야에 적합하며, 엣지 디바이스에서의 로컬 실행과 추가 미세 조정을 지원합니다.

문서 분석 및 구조화: 영수증, 계약서, 보고서, 의료 기록 등의 문서를 레이아웃 구조로 복원하고 Markdown 또는 필드 데이터로 출력합니다.
복잡한 레이아웃 인식: 다단 신문, 재무 와이드 테이블, 손글씨 메모, 복잡한 행렬 수식, 도장으로 가려진 문서 등 7가지 고빈도 시나리오를 지원합니다.
이미지 자동 보정: 회전되거나 뒤집힌 문서를 자동으로 판단하고 보정하므로 수동으로 방향을 맞출 필요가 없습니다.
페이지 간 콘텐츠 병합: 장문서의 여러 페이지에 걸친 정보를 병합하여 출력할 수 있어 업무 시스템 연동에 적합합니다.
분석 품질 판별(Jev): 모든 OCR 시스템의 분석 결과에 대해 0–1 품질 점수를 출력하여 결과의 신뢰성을 판단합니다.
수동 검증 분류: 점수 임계값에 따라 자동 선별하여 고득점 결과는 검수 없이 저장하고, 저득점 결과는 수동 검증으로 전환해 검증 업무량을 크게 줄입니다.
다중 모델 최적 선택: 여러 모델로 분석한 뒤 Jev가 영역별 점수를 매겨 최적 조합을 선택하며, 전체 점수를 최대 0.25 향상합니다.
핵심 정보 추출(KIE): 도장으로 가려진 문서와 영수증 등의 시나리오에서 핵심 필드 정보를 추출합니다.

WeChat에서 팔로우 후 “开源”에 회신하여 AI 오픈소스 프로젝트交流群에 참여하세요.
강력한 기반 모델: MiniCPM-V 4.6 멀티모달 모델을 기반으로 학습하고, MiniCPM-V/o 시리즈에 축적된 대규모 고품질 문서 사전 학습 데이터를 재사용합니다. 이를 통해 OCR 전문 학습 전부터 이미지 및 문서 이해 능력을 갖추며, 학습을 인식 정확도와 구조화 출력에 집중할 수 있습니다.
정교한 아키텍처: LLaVA-UHDv4 고효율 시각 분할 방식을 적용해 고해상도 이미지에서 계산량이 급증하는 문제를 방지하고, 자동 Upright와 적응형 Upsize 설계를 통합했습니다.
데이터 합성 및 강화 학습: 대규모 실제 시나리오에서 시드 데이터를 수집하고 Agentic 합성을 통해 규모를 확장하여 실제 특성과 다양성을 모두 확보합니다. 이후 실제 복잡한 시나리오를 기반으로 대규모 강화 학습을 수행해 롱테일 샘플의 분석 품질을 향상합니다.
DSpark 디코딩 가속: 경량 초안 모듈이 한 번에 여러 후보 token을 제안하고 주 모델이 이를 병렬로 검증하여 token 단위 생성을 대체합니다. 품질 저하 없이 엔드투엔드 효율을 55% 향상합니다.
Jev 빠른 사고 판별 방식: System-1 설계를 적용해 단일 순방향 prefill 계산만 수행하고 자기회귀 디코딩을 사용하지 않으므로 지연 시간이 매우 짧아 고빈도 품질 검사 게이트로 활용할 수 있습니다. 실제 수동 라벨링을 통해 얻은 블록 단위 정확성 라벨로 학습하여 점수를 업무 임계값으로 바로 사용할 수 있습니다.

로컬 배포 및 추론: Hugging Face CLI를 통해 모델 가중치를 다운로드합니다(openbmb/MiniCPM-OCR-1.0 또는 openbmb/MiniCPM-OCR-Jev).
추론 프레임워크를 설치합니다(첫날부터 vLLM, SGLang, llama.cpp, Ollama를 지원하며 필요에 따라 하나를 선택할 수 있습니다. OpenBMB 시리즈 모델의 공통 실행 방식은 vllm serve openbmb/<모델명> --port 8000입니다).
하드웨어에 따라 양자화 버전을 선택합니다. 여러 칩과 다양한 양자화 형식을 지원하며, 엣지 디바이스 또는 저연산 환경에서는 GGUF/INT4 버전을 선택할 수 있습니다.
문서 이미지를 입력하면 모델이 자동으로 방향 보정, 레이아웃 분석 및 구조화 분석을 수행하고 Markdown 또는 필드 데이터 결과를 출력합니다.

두 가지 SOTA 정확도: Real5-OmniDocBench 93.68점, OCRBench v2 54.7점(차순위보다 7.7점 앞섬)을 기록했으며, 14개 주요 모델의 6개 벤치마크 비교에서 4개 부문 1위를 차지했습니다.
뛰어난 효율성: DSpark 디코딩 가속으로 엔드투엔드 효율이 55% 향상되고 처리량은 초당 1.217페이지에 달해, 효율—성능 산점도에서 유일하게 “가장 빠르고 가장 정확한” 모델입니다.
극도의 경량성: 1.3B 파라미터만으로 더 큰 모델을 능가하며, 엣지 디바이스와 제한된 연산 환경에 적합하고 로컬 실행으로 개인정보 보호 요구를 충족합니다.
신뢰할 수 있는 결과 판별: Jev는 업계 최초의 OCR 품질 검사 모델로, AUROC 93.6을 기록해 35B급 판별 모델을 능가합니다. 이를 통해 “어느 페이지에 수동 검증이 필요한지”를 처음으로 예측할 수 있습니다.
플러그 앤 플레이 품질 검사: Jev는 특정 OCR 시스템에 종속되지 않으며, GLM-OCR, PaddleOCR-VL 등 여러 시스템에서 AUROC 91.9~93.4를 안정적으로 유지합니다.

GitHub 저장소: https://github.com/OpenBMB/MiniCPM-OCR
HuggingFace 모델 저장소: https://huggingface.co/openbmb/MiniCPM-OCR-1.0
https://huggingface.co/openbmb/MiniCPM-OCR-Jev

금융 증빙 처리: 은행 거래 내역, 수표, 입금·지급 전표를 자동으로 인식하고 구조화하여 입력합니다. Jev 품질 검사 후 고득점 증빙은 바로 저장해 창구 수동 입력을 줄입니다.
법률 계약서 검토: 법률사무소와 법무 부서에서 계약서 텍스트를 일괄 분석합니다. 로컬 실행으로 문서가 외부로 유출되지 않도록 하며, Jev와 함께 최대 85%의 페이지를 무검수 처리해 검증 시간을 크게 단축합니다.
의료 기록 디지털화: 병원에서 종이 의료 기록과 검사 보고서를 구조화된 전자 데이터로 변환하며, 프라이빗 배포로 환자 개인정보 보호 및 규정 준수 요구를 충족합니다.
행정 기록 관리: 공문, 신분증, 도장 문서를 인식하고 핵심 정보(KIE)를 추출하여 도장에 가려진 핵심 필드를 자동으로 추출합니다.