TeleOCR 運営中

TeleOCRは中国電信星辰実験室がオープンソースで公開する文書解析モデルです。約1.2Bパラメータの軽量な視覚言語アーキテクチャを採用し、単一のフレームワークでデジタル文書とカメラ撮影文書を統一的に処理できます。テキスト、レイアウト、表、数式、科学図表をMarkdown、JSONなどの構造化データに解析します。TeleOCRはOmniDocBench v1.6で首位を獲得し、PureDocBenchでも1位、ICDAR-2026科学図解析チャレンジでも優勝しました。ローカルGPUへのデプロイに対応し、契約書、論文、アーカイブなどの構造化抽出に適しています。

テキスト認識：文書内のテキストを高精度に抽出し、デジタル文書の認識精度は97.22に達します。
レイアウト解析：テキスト、表、数式などの要素のページ上の位置と階層関係を特定します。
表解析：行またぎ、列またぎ、セル結合を含む複雑な表構造を正確に復元し、TEDSは97.05に達します。
数式解析：数式の意味と構文を構造化して解析し、記号レベルで正確に復元します。CDMは96.36に達します。
科学図表解析：図表の要素を認識してデータを抽出し、論文の棒グラフを構造化された表に変換できます（ICDAR-2026優勝能力）。
撮影文書処理：透視歪み、ページの湾曲、影、ぼけなどが生じた実際の撮影文書を、独立した歪み補正モデルなしで直接処理します。
構造化出力：結果をMarkdown、JSON、表、数式などの形式で生成でき、知識検索や業務システムへの接続に適しています。

WeChatでフォローし「开源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
統一視覚言語アーキテクチャ：TeleOCRは約1.2Bパラメータの軽量な視覚言語モデルを採用し、デジタル文書とカメラ撮影文書を同一フレームワークに入力して、レイアウトと内容をエンドツーエンドで解析します。従来の「レイアウト検出→画像補正→認識」という直列処理を置き換え、誤差の累積を防ぎます。
幾何認識モデリング：不規則なページ変形に対応するため、幾何認識モデリングと曲率誘導型Douglas-Peuckerサンプリングを導入し、文書の境界と空間構造を明示的に学習します。これにより、湾曲、折り畳み、透視歪みのあるページを直接処理できます。
データエンジニアリングの循環：データ体系は生成、クリーニング、評価、最適化を網羅しています。複数ノードの合意投票で信頼度の高い擬似ラベルを選別し、幾何認識データ合成では回転、歪み、湾曲を中心にサンプルを構成します。画像から画像への自己検証では解析結果を再レンダリングして比較し、自動的に誤りを修正します。段階的なクリーニングにより、一貫性の高いサンプルを訓練セットに取り込み、意見が分かれるサンプルを難例最適化に利用して、投票による選別からモデルの自己訓練までの循環を形成します。
段階的な4段階学習：学習は「視覚と言語のアライメント→幾何認識文書解析→内容と構造の分離学習→強化学習」の順に進み、基礎的な知覚から精密な理解へと発展します。表タスクではStructure-onlyで行列構造の理解を強化し、続いてStructure+Contentで共同アライメントを実現します。数式タスクでも同様に、分離学習によって意味と構文を整理します。

環境準備：Python 3.10以降をインストールし、CUDA対応GPU環境を用意します。
コード取得：git clone https://github.com/caipeng328/TeleOCR.gitを実行してリポジトリを取得し、ディレクトリに移動します。
環境作成：condaでteleocrという名前の仮想環境を作成して有効化します。
依存関係のインストール：pip install -e .を実行してプロジェクトの依存関係をインストールします。
モデルのダウンロード：pip install modelscopeを実行した後、modelscopeコマンドで重みをローカルの./models/TeleOCRディレクトリにダウンロードします。
ディレクトリ準備：入力画像ディレクトリIMAGE_SUB_PATHと、結果出力ディレクトリRESULT_SAVE_PATHを設定します。
推論の実行：python infer.pyを実行し、画像パス、結果パス、--use_async、--override、モデルパス、バックエンドパラメータを渡します。
バックエンドの選択：通常の利用ではvllm-engineを使用し、高並列のバッチ処理ではvllm-async-engineに切り替えます。
レイアウトモードの設定：デジタル文書にはLAYOUT_MODE="Detection"を使用し、湾曲・劣化した撮影ページには"Segmentation"を使用します。
パラメータの調整：必要に応じてMAX_MODEL_LEN（コンテキスト長）、GPU_MEMORY_UTILIZATION（GPUメモリ使用率）、PDF_TOOLS（PDFバックエンド）、MAX_PIXELS（1ページあたりの最大ピクセル数）を調整します。
結果の取得：出力ディレクトリから解析済みのMarkdown、JSON、表などの構造化結果を読み込み、下流システムに接続します。

ベンチマークで首位：OmniDocBench v1.6で総合スコア96.87を獲得して首位となり、MinerU2.5-Pro、PaddleOCR-VL-1.6、OvisOCR2などの専門モデルを上回ります。
軽量なパラメータ：約1.2Bパラメータ בלבדで、ローカルデプロイのハードルを下げ、プライベート環境に適しています。
統一フレームワーク：デジタル文書とカメラ撮影文書を同一モデル内で解析でき、文書の種類ごとに複数のシステムを導入する必要がありません。
事前の歪み補正が不要：幾何認識モデリングにより、湾曲、折り畳み、透視歪みのあるページを直接処理でき、独立した補正モジュールによる誤差の累積を抑えます。
構造化出力：Markdown、JSON、表、数式などの計算可能な結果を直接出力でき、知識検索や業務自動化への接続に適しています。
複雑な表に強い：行またぎ、列またぎ、セル結合を含む複雑な表でも、行列関係が乱れたり位置がずれたりせず、TEDSは97.05に達します。
科学図解析で優勝：図表要素の認識とデータ抽出に対応し、ICDAR-2026科学図解析チャレンジで優勝しました。
効率的なデータ循環：複数ノードの合意投票と自己検証メカニズムにより、数千万規模の訓練データプールを構築し、生成データの大部分で人手によるアノテーションが不要です。

GitHubリポジトリ：https://github.com/caipeng328/TeleOCR
HuggingFaceモデルリポジトリ：https://www.modelscope.cn/models/XingChen-AGI/TeleOCR
arXiv技術論文：https://arxiv.org/pdf/2608.12898

契約書・アーカイブのデジタル化：契約書やアーカイブに含まれる行またぎ・列またぎの表やレイアウト構造を解析し、検索可能な構造化データに変換します。
研究論文解析：論文内の数式、表、棒グラフのデータを抽出し、文献分析やナレッジベース構築を支援します。
金融証憑処理：請求書やフォームなどの撮影書類を認識し、透視歪みやぼけにも対応して業務システムに自動入力します。
教育試験問題の入力：試験用紙の印刷された数式や表形式の問題を編集可能な形式に変換し、問題バンクの構築や自動採点を支援します。
企業レポートの自動化：スキャンしたレポートや業務フォームを一括で構造化された表に変換し、データ分析やRPAプロセスに接続します。