TeleOCR 운영 중

TeleOCR은 중국전신 싱천实验실이 오픈 소스로 공개한 문서 파싱 모델로, 약 1.2B개의 파라미터를 사용하는 경량 비전-언어 아키텍처를 채택했습니다. 하나의 프레임워크에서 디지털 문서와 카메라로 촬영한 문서를 통합 처리하며, 텍스트, 레이아웃, 표, 수식 및 과학 도표를 Markdown, JSON 등의 구조화된 결과로 파싱할 수 있습니다. TeleOCR은 OmniDocBench v1.6 순위에서 1위를 차지했으며, PureDocBench 1위와 ICDAR-2026 과학 도표 파싱 부문 우승을 기록했습니다. 로컬 GPU 배포를 지원하고 계약서, 논문, 기록물 등의 구조화된 추출 시나리오에 적합합니다.

텍스트 인식: 문서의 텍스트 내용을 고정밀로 추출하며, 디지털 문서 인식 정확도는 97.22에 달합니다.
레이아웃 분석: 페이지 내 텍스트, 표, 수식 등의 위치와 계층 관계를 파악합니다.
표 파싱: 행과 열을 가로지르거나 셀이 병합된 복잡한 표 구조를 정확하게 복원하며, TEDS는 97.05에 달합니다.
수식 파싱: 수식의 의미와 문법을 구조적으로 분석해 기호 단위로 정확하게 복원하며, CDM은 96.36에 달합니다.
과학 도표 파싱: 도표 요소를 식별하고 데이터를 추출하며, 논문의 막대그래프를 구조화된 표로 변환할 수 있습니다(ICDAR-2026 우승 기능).
촬영 문서 처리: 별도의 왜곡 보정 모델 없이 원근 왜곡, 페이지 굽힘, 그림자와 흐림 등 실제 촬영 문서의 열화를 직접 처리합니다.
구조화된 출력: 결과를 Markdown, JSON, 표, 수식 등의 형식으로 생성해 지식 검색 및 업무 시스템에 쉽게 연동할 수 있습니다.

WeChat에서 팔로우 후 “오픈 소스”라고 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 참여하세요
통합 비전-언어 아키텍처: TeleOCR은 약 1.2B개의 파라미터를 사용하는 경량 비전-언어 모델을 채택해 디지털 문서와 카메라 촬영 문서를 하나의 프레임워크에 통합합니다. 엔드투엔드로 레이아웃과 콘텐츠를 분석해 기존의 ”레이아웃 검출→이미지 보정→인식” 연결형 파이프라인을 대체하고 오류 누적을 방지합니다.
기하 인식 모델링: 불규칙한 페이지 변형에 대응하기 위해 기하 인식 모델링과 곡률 유도 Douglas-Peucker 샘플링을 도입하고, 문서 경계와 공간 구조를 명시적으로 학습합니다. 이를 통해 굽힘, 접힘 및 원근 왜곡이 있는 페이지를 직접 처리할 수 있습니다.
데이터 엔지니어링 폐쇄 루프: 데이터 체계는 생성, 정제, 평가 및 최적화를 포괄합니다. 다중 노드 합의 투표로 신뢰도가 높은 의사 라벨을 선별하고, 기하 인식 데이터 합성으로 회전, 왜곡 및 굽힘 샘플을 구성합니다. 이미지 대 이미지 자체 검증을 통해 파싱 결과를 다시 렌더링하고 비교하여 자동으로 오류를 수정합니다. 점진적 정제를 통해 일관성이 높은 샘플은 학습 세트에 추가하고, 의견 차이가 큰 샘플은 어려운 사례 최적화에 사용해 투표 선별—모델 자체 학습의 폐쇄 루프를 형성합니다.
점진적 4단계 학습: 학습은 ”비전-언어 정렬→기하 인식 문서 파싱→콘텐츠-구조 분리 학습→강화 학습” 순서로 진행되며, 기초 인식에서 정밀한 이해로 목표를 확장합니다. 표 작업에서는 Structure-only로 행과 열 구조 이해를 강화한 뒤 Structure+Content로 공동 정렬을 수행합니다. 수식 작업 역시 분리 학습을 통해 의미와 문법을 학습합니다.

환경 준비: Python 3.10+을 설치하고 CUDA를 지원하는 GPU 환경을 준비합니다.
코드 가져오기: git clone https://github.com/caipeng328/TeleOCR.git 을 실행한 후 디렉터리로 이동합니다.
환경 생성: conda로 teleocr이라는 가상 환경을 생성하고 활성화합니다.
의존성 설치: pip install -e .를 실행해 프로젝트 의존성을 설치합니다.
모델 다운로드: pip install modelscope를 실행한 후 modelscope 명령으로 가중치를 로컬 ./models/TeleOCR 디렉터리에 다운로드합니다.
디렉터리 준비: 입력 이미지 디렉터리 IMAGE_SUB_PATH와 결과 출력 디렉터리 RESULT_SAVE_PATH를 설정합니다.
추론 실행: python infer.py를 실행하고 이미지 경로, 결과 경로, --use_async, --override, 모델 경로 및 백엔드 매개변수를 전달합니다.
백엔드 선택: 일반적인 사용에는 vllm-engine을 사용하고, 높은 동시성의 일괄 처리에는 vllm-async-engine으로 전환할 수 있습니다.
레이아웃 모드 설정: 디지털 문서에는 LAYOUT_MODE="Detection"을 사용하고, 굽힘 또는 열화된 촬영 페이지에는 "Segmentation"으로 전환합니다.
매개변수 조정: 필요에 따라 MAX_MODEL_LEN(컨텍스트 길이), GPU_MEMORY_UTILIZATION(GPU 메모리 사용량), PDF_TOOLS(PDF 백엔드) 및 MAX_PIXELS(페이지당 최대 픽셀 수)를 조정합니다.
결과 확인: 출력 디렉터리에서 파싱된 Markdown/JSON/표 등의 구조화된 결과를 읽어 하위 시스템에 연동합니다.

벤치마크 성능 우수: OmniDocBench v1.6에서 총점 96.87로 1위를 차지했으며, MinerU2.5-Pro, PaddleOCR-VL-1.6, OvisOCR2 등 전문 모델을 넘어섰습니다.
경량 파라미터: 약 1.2B개의 파라미터만 사용해 로컬 배포 장벽을 낮추며, 프라이빗 배포 시나리오에 적합합니다.
통합 프레임워크: 디지털 문서와 카메라 촬영 문서를 동일한 모델에서 파싱하므로 문서 출처별로 여러 시스템을 배포할 필요가 없습니다.
사전 왜곡 보정 불필요: 기하 인식 모델링으로 굽힘, 접힘 및 원근 왜곡 페이지를 직접 처리해 별도 보정 모듈의 오류 누적을 줄입니다.
구조화된 출력: Markdown, JSON, 표, 수식 등의 계산 가능한 결과를 직접 출력해 지식 검색 및 업무 자동화에 쉽게 연동할 수 있습니다.
강력한 복잡 표 처리: 행과 열을 가로지르거나 셀이 병합된 복잡한 표에서도 행과 열의 관계가 흐트러지거나 어긋나지 않으며, TEDS는 97.05에 달합니다.
과학 도표 파싱 우승: 도표 요소 식별 및 데이터 추출 기능을 갖추고 ICDAR-2026 과학 도표 파싱 챌린지에서 우승했습니다.
효율적인 데이터 폐쇄 루프: 다중 노드 합의 투표와 자체 검증 메커니즘으로 수천만 규모의 학습 데이터 풀을 구축하며, 생성 데이터의 대부분은 수동 라벨링이 필요하지 않습니다.

GitHub 저장소: https://github.com/caipeng328/TeleOCR
HuggingFace 모델 저장소: https://www.modelscope.cn/models/XingChen-AGI/TeleOCR
arXiv 기술 논문: https://arxiv.org/pdf/2608.12898

계약서 및 기록물 디지털화: 계약서와 기록물의 행을 가로지르는 복잡한 표 및 레이아웃 구조를 분석해 검색 가능한 구조화 데이터로 변환합니다.
과학 논문 분석: 논문의 수식, 표 및 막대그래프 데이터를 추출해 문헌 분석과 지식 베이스 구축을 지원합니다.
금융 증빙 처리: 송장, 양식 등 촬영 문서를 인식하고 원근 왜곡과 흐림을 허용해 업무 시스템에 자동 입력합니다.
교육 시험 문제 입력: 시험지의 인쇄 수식과 표 문제를 편집 가능한 형식으로 변환해 문제 은행 구축과 지능형 채점을 지원합니다.
기업 보고서 자동화: 스캔 보고서와 업무 양식을 일괄적으로 구조화된 표로 변환해 데이터 분석 및 RPA 프로세스에 연동합니다.