TeleOCR Đang hoạt động

TeleOCR là mô hình phân tích tài liệu mã nguồn mở do Phòng thí nghiệm Xingchen của China Telecom phát triển, sử dụng kiến trúc mô hình ngôn ngữ-thị giác nhẹ khoảng 1,2B tham số, xử lý thống nhất tài liệu số và tài liệu chụp bằng camera trong cùng một framework, có thể phân tích văn bản, bố cục, bảng, công thức và biểu đồ khoa học thành các kết quả có cấu trúc như Markdown, JSON. TeleOCR đứng đầu bảng xếp hạng OmniDocBench v1.6, giành vị trí đầu bảng PureDocBench và chức vô địch phân tích biểu đồ khoa học ICDAR-2026, hỗ trợ triển khai GPU cục bộ, phù hợp với các tình huống trích xuất có cấu trúc từ hợp đồng, luận văn, hồ sơ và các tài liệu khác.

Nhận dạng văn bản: Trích xuất chính xác nội dung văn bản trong tài liệu, độ chính xác nhận dạng tài liệu số đạt 97.22.
Phân tích bố cục: Xác định vị trí và quan hệ phân cấp của các thành phần như văn bản, bảng, công thức trên trang.
Phân tích bảng: Khôi phục chính xác cấu trúc bảng phức tạp có ô gộp, ô trải qua nhiều hàng và cột, TEDS đạt 97.05.
Phân tích công thức: Phân tích có cấu trúc ngữ nghĩa và cú pháp của công thức, khôi phục chính xác ở cấp ký hiệu, CDM đạt 96.36.
Phân tích biểu đồ khoa học: Nhận dạng các thành phần biểu đồ và trích xuất dữ liệu, có thể chuyển biểu đồ cột trong bài luận thành bảng có cấu trúc (năng lực vô địch ICDAR-2026).
Xử lý tài liệu chụp: Xử lý trực tiếp các tài liệu bị suy giảm do biến dạng phối cảnh, cong trang, bóng mờ và nhòe trong ảnh chụp thực tế mà không cần mô hình khử biến dạng riêng.
Đầu ra có cấu trúc: Kết quả có thể được tạo ở các định dạng như Markdown, JSON, bảng và công thức, thuận tiện tích hợp với hệ thống truy xuất tri thức và hệ thống nghiệp vụ.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc ngôn ngữ-thị giác thống nhất: TeleOCR sử dụng mô hình ngôn ngữ-thị giác nhẹ khoảng 1,2B tham số, đưa tài liệu số và tài liệu chụp bằng camera vào cùng một framework, hoàn tất phân tích bố cục và nội dung đầu-cuối, thay thế quy trình nối tiếp truyền thống “phát hiện bố cục → hiệu chỉnh hình ảnh → nhận dạng”, qua đó tránh tích lũy sai số.
Mô hình hóa nhận biết hình học: Đối với biến dạng trang không đều, mô hình đưa vào phương pháp mô hình hóa nhận biết hình học và lấy mẫu Douglas-Peucker có hướng dẫn bởi độ cong, học rõ ràng biên tài liệu và cấu trúc không gian, giúp xử lý trực tiếp các trang bị cong, gấp và biến dạng phối cảnh.
Vòng lặp khép kín trong kỹ thuật dữ liệu: Hệ thống dữ liệu bao phủ quá trình tạo, làm sạch, đánh giá và tối ưu hóa: sử dụng bỏ phiếu đồng thuận đa nút để lọc nhãn giả có độ tin cậy cao; tổng hợp dữ liệu nhận biết hình học tạo mẫu xoay, biến dạng và cong; tự xác thực ảnh-sang-ảnh kết xuất lại kết quả phân tích để đối chiếu và tự động sửa lỗi; làm sạch tuần tự đưa các mẫu có độ nhất quán cao vào tập huấn luyện, đồng thời dùng các mẫu có độ phân kỳ cao để tối ưu hóa mẫu khó, hình thành vòng lặp bỏ phiếu sàng lọc — tự huấn luyện mô hình.
Huấn luyện tuần tự bốn giai đoạn: Quá trình huấn luyện tiến triển theo “căn chỉnh ngôn ngữ-thị giác → phân tích tài liệu nhận biết hình học → học tách rời nội dung-cấu trúc → học tăng cường”, với mục tiêu chuyển từ nhận biết cơ bản sang hiểu chi tiết. Đối với tác vụ bảng, Structure-only được dùng để tăng cường hiểu cấu trúc hàng và cột, sau đó Structure+Content thực hiện căn chỉnh kết hợp; tác vụ công thức cũng học riêng ngữ nghĩa và cú pháp thông qua phương pháp học tách rời.

Chuẩn bị môi trường: Cài đặt Python 3.10+ và đảm bảo có môi trường GPU hỗ trợ CUDA.
Lấy mã nguồn: Thực thi git clone https://github.com/caipeng328/TeleOCR.git rồi truy cập thư mục dự án.
Tạo môi trường: Dùng conda tạo môi trường ảo tên teleocr và kích hoạt môi trường.
Cài đặt dependencies: Chạy pip install -e . để cài đặt các dependency của dự án.
Tải mô hình: Cài đặt modelscope bằng pip install modelscope, sau đó dùng lệnh modelscope để tải trọng số về thư mục cục bộ ./models/TeleOCR.
Chuẩn bị thư mục: Thiết lập thư mục ảnh đầu vào IMAGE_SUB_PATH và thư mục lưu kết quả RESULT_SAVE_PATH.
Chạy suy luận: Thực thi python infer.py, truyền đường dẫn ảnh, đường dẫn kết quả, --use_async, --override, đường dẫn mô hình và các tham số backend.
Chọn backend: Sử dụng vllm-engine cho nhu cầu thông thường; xử lý hàng loạt với độ đồng thời cao có thể chuyển sang vllm-async-engine.
Thiết lập chế độ bố cục: Dùng LAYOUT_MODE="Detection" cho tài liệu số; chuyển sang "Segmentation" đối với trang chụp bị cong hoặc suy giảm chất lượng.
Điều chỉnh tham số: Tùy nhu cầu điều chỉnh MAX_MODEL_LEN (độ dài ngữ cảnh), GPU_MEMORY_UTILIZATION (mức sử dụng VRAM), PDF_TOOLS (backend PDF) và MAX_PIXELS (số pixel tối đa trên mỗi trang).
Lấy kết quả: Đọc các kết quả có cấu trúc như Markdown/JSON/bảng đã được phân tích từ thư mục đầu ra để tích hợp vào hệ thống hạ nguồn.

Dẫn đầu về thành tích trên bảng xếp hạng: Đạt tổng điểm 96.87 và đứng đầu OmniDocBench v1.6, vượt qua các mô hình chuyên dụng như MinerU2.5-Pro, PaddleOCR-VL-1.6 và OvisOCR2.
Tham số nhẹ: Chỉ khoảng 1,2B tham số, giảm yêu cầu triển khai cục bộ, phù hợp với các kịch bản triển khai riêng tư.
Framework thống nhất: Tài liệu số và tài liệu chụp bằng camera được phân tích trong cùng một mô hình, không cần triển khai nhiều hệ thống cho các nguồn tài liệu khác nhau.
Không cần khử biến dạng trước: Mô hình hóa nhận biết hình học có thể xử lý trực tiếp các trang cong, gấp và biến dạng phối cảnh, giảm tích lũy sai số từ mô-đun hiệu chỉnh riêng.
Đầu ra có cấu trúc: Trực tiếp xuất ra các kết quả có thể tính toán như Markdown, JSON, bảng và công thức, thuận tiện tích hợp với hệ thống truy xuất tri thức và tự động hóa nghiệp vụ.
Năng lực xử lý bảng phức tạp mạnh: Cấu trúc hàng và cột của các bảng phức tạp có ô trải qua nhiều hàng, nhiều cột và ô gộp không bị xáo trộn hay lệch vị trí, TEDS đạt 97.05.
Đứng đầu về phân tích biểu đồ khoa học: Có khả năng nhận dạng thành phần biểu đồ và trích xuất dữ liệu, giành chức vô địch cuộc thi phân tích biểu đồ khoa học ICDAR-2026.
Vòng lặp dữ liệu hiệu quả: Cơ chế bỏ phiếu đồng thuận đa nút và tự xác thực xây dựng kho dữ liệu huấn luyện quy mô hàng chục triệu mẫu, phần lớn dữ liệu tạo sinh không cần gán nhãn thủ công.

Kho GitHub: https://github.com/caipeng328/TeleOCR
Kho mô hình HuggingFace: https://www.modelscope.cn/models/XingChen-AGI/TeleOCR
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2608.12898

Số hóa hợp đồng và hồ sơ: Phân tích các bảng có ô trải qua nhiều hàng, nhiều cột cùng cấu trúc bố cục trong hợp đồng và hồ sơ, chuyển thành dữ liệu có cấu trúc có thể truy xuất.
Phân tích bài báo khoa học: Trích xuất công thức, bảng và dữ liệu biểu đồ cột trong bài báo, hỗ trợ phân tích tài liệu và xây dựng cơ sở tri thức.
Xử lý chứng từ tài chính: Nhận dạng ảnh chụp hóa đơn, biểu mẫu và các tài liệu khác, chịu được biến dạng phối cảnh và nhòe, tự động nhập vào hệ thống nghiệp vụ.
Nhập câu hỏi giáo dục: Chuyển công thức in và câu hỏi dạng bảng trong đề thi thành định dạng có thể chỉnh sửa, hỗ trợ xây dựng ngân hàng câu hỏi và chấm điểm thông minh.
Tự động hóa báo cáo doanh nghiệp: Chuyển hàng loạt báo cáo quét và biểu mẫu nghiệp vụ thành bảng có cấu trúc, tích hợp với quy trình phân tích dữ liệu và RPA.