MiniCPM-OCR 運営中

MiniCPM-OCRは、面壁智能がリリースしオープンソース化したOCRシリーズモデルです。MiniCPM-OCR 1.0（1.3B）は文書解析専用モデルで、Real5-OmniDocBenchとOCRBench v2の両方でSOTAを獲得。DSparkデコードアクセラレーションによりスループットは1.217ページ/秒に達し、高速かつ高精度です。MiniCPM-OCR Jev（2B）は業界初の解析結果判定モデルで、出力品質をスコア化し、手動確認が不要な結果を自動選別して、人件費を削減します。MiniCPM-OCRは金融、財務・税務、法務、医療などプライバシーに敏感なシーンに適しており、エッジでのローカル実行と追加ファインチューニングに対応します。

文書解析と構造化：伝票、契約書、帳票、診療記録などをレイアウト構造として復元し、Markdownまたはフィールド形式のデータを出力します。
複雑なレイアウト認識：多段組み新聞、財務の横長帳票、手書きメモ、複雑な行列式、印章で隠れた文書など、頻出する7種類のシーンに対応します。
画像の自動補正：回転・上下反転した文書を自動判定して補正し、手動で正しい向きに直す必要がありません。
ページをまたぐ内容の統合：長文書のページをまたぐ情報を統合して出力でき、業務システムからの呼び出しに対応します。
解析品質判定（Jev）：任意のOCRシステムによる解析結果を0～1の品質スコアで評価し、結果の信頼性を判定します。
人手確認の振り分け：スコアのしきい値に基づいて自動選別し、高スコアの結果は確認なしで登録、低スコアの結果は人手確認に回すことで、確認作業を大幅に削減します。
複数モデルからの最適選択：複数モデルで解析した後、Jevが領域ごとにスコアを付けて最適な結果を組み合わせ、全体スコアを最大0.25向上させます。
キー情報抽出（KIE）：印章で隠れた領域やレシートなどのシーンから、重要なフィールド情報を抽出します。

WeChatでフォロー後、「開源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます
強力な基盤：MiniCPM-V 4.6マルチモーダルモデルを基盤に学習し、MiniCPM-V/oシリーズで蓄積された大規模かつ高品質な文書事前学習データを再利用しています。これにより、OCR特化学習の前から画像と文書を深く理解する能力を備え、学習を認識精度と構造化出力に集中できます。
洗練されたアーキテクチャ：LLaVA-UHDv4の高効率な視覚分割方式を採用し、高解像度画像に伴う計算量の増大を抑制します。自動Uprightと適応型Upsizeの2つの設計も統合しています。
データ合成と強化学習：大量の実環境からシードデータを収集し、Agentic合成によって大規模に拡張することで、実環境の特徴と多様性を両立。さらに、実際の複雑なシーンを用いた大規模強化学習により、ロングテールサンプルの解析品質を向上させます。
DSparkデコードアクセラレーション：軽量なドラフトモジュールが一度に複数の候補トークンを提案し、メインモデルが一括で並列検証します。トークンごとの逐次生成に代わり、品質を損なうことなくエンドツーエンドの効率を55%向上させます。
Jev高速思考判定方式：System-1設計を採用し、1回のフォワードprefill計算で自動回帰デコードを行わないため、遅延が極めて小さく、高頻度の品質検査ゲートとして利用できます。実際の人手アノテーションによるブロック単位の正解ラベルで学習しており、スコアをそのまま業務上のしきい値として利用できます。

ローカル推論環境の構築：Hugging Face CLIでモデルの重み（openbmb/MiniCPM-OCR-1.0またはopenbmb/MiniCPM-OCR-Jev）をダウンロードします。
推論フレームワークをインストールします（初日からvLLM、SGLang、llama.cpp、Ollamaに対応。必要に応じていずれかを選択できます。OpenBMBシリーズモデルの共通起動方法はvllm serve openbmb/<モデル名> --port 8000です）。
ハードウェアに応じて量子化版を選択します。複数チップと各種量子化形式に対応しており、エッジ環境または低計算力環境ではGGUF/INT4版を選択できます。
文書画像を入力すると、モデルが補正、レイアウト分析、構造化解析を自動実行し、Markdownまたはフィールド形式の結果を出力します。

2つのSOTA精度：Real5-OmniDocBenchで93.68点、OCRBench v2で54.7点（次点を7.7点上回る）。14種類の主要モデルによる6ベンチマークの比較で、4項目1位を獲得しています。
業界トップクラスの効率：DSparkデコードアクセラレーションによりエンドツーエンドの効率を55%向上し、スループットは1.217ページ/秒。効率と精度の散布図で唯一「最速かつ最高精度」のモデルです。
極めて軽量：わずか1.3Bパラメータでより大規模なモデルを上回り、エッジ環境や限られた計算力の環境に適応します。ローカル実行によりプライバシー要件にも対応できます。
信頼性を判定可能：Jevは業界初のOCR品質検査モデルで、AUROCは93.6。35B級の判定モデルを上回り、「どのページに人手確認が必要か」を初めて予測可能にします。
すぐに使える品質検査：Jevは特定のOCRシステムに依存せず、GLM-OCRやPaddleOCR-VLなど複数システムでAUROC 91.9～93.4を安定して達成します。

GitHubリポジトリ：https://github.com/OpenBMB/MiniCPM-OCR
HuggingFaceモデルリポジトリ：https://huggingface.co/openbmb/MiniCPM-OCR-1.0
https://huggingface.co/openbmb/MiniCPM-OCR-Jev

金融伝票処理：銀行取引明細、小切手、入金・振込明細の自動認識と構造化入力を行います。Jevによる品質検査後、高スコアの伝票を直接登録し、窓口での手入力を削減します。
法律契約書の審査：法律事務所や法務部門で契約書を一括解析します。ローカル実行により文書を外部に出さず、Jevと組み合わせて最大85%のページを確認不要にし、確認時間を大幅に短縮します。
医療記録のデジタル化：紙の診療記録や検査報告書を構造化された電子データに変換します。プライベート環境への導入により、患者のプライバシーとコンプライアンス要件に対応します。
行政文書アーカイブ管理：公文書、身分証明書、印章付き文書を認識し、キー情報（KIE）を抽出します。印章で隠れた重要フィールドも自動的に抽出できます。