MiniCPM-OCR Đang hoạt động

MiniCPM-OCR là dòng mô hình OCR do ModelBest phát hành và mã nguồn mở. MiniCPM-OCR 1.0 (1.3B) là mô hình chuyên phân tích tài liệu, đạt SOTA đồng thời trên Real5-OmniDocBench và OCRBench v2; khả năng tăng tốc giải mã DSpark giúp thông lượng đạt 1.217 trang/giây, vừa nhanh vừa chính xác; MiniCPM-OCR Jev (2B) là mô hình đánh giá kết quả phân tích đầu tiên trong ngành, xuất ra điểm chất lượng, tự động sàng lọc kết quả không cần kiểm tra thủ công, giảm chi phí nhân lực. MiniCPM-OCR phù hợp với các lĩnh vực nhạy cảm về quyền riêng tư như tài chính, tài chính - thuế, pháp lý và y tế, đồng thời hỗ trợ chạy cục bộ ở thiết bị đầu cuối và tinh chỉnh lần hai.

Phân tích và cấu trúc hóa tài liệu: khôi phục cấu trúc bố cục của hóa đơn, hợp đồng, báo cáo, bệnh án và các tài liệu khác, xuất dữ liệu Markdown hoặc dữ liệu theo trường.
Nhận diện bố cục phức tạp: hỗ trợ bảy nhóm tình huống phổ biến như báo nhiều cột, bảng tài chính khổ rộng, ghi chú viết tay, công thức ma trận phức tạp và tài liệu bị che bởi con dấu.
Tự động hiệu chỉnh ảnh: tự động phát hiện và sửa tài liệu bị xoay hoặc lộn ngược, không cần căn chỉnh thủ công.
Hợp nhất nội dung qua nhiều trang: hợp nhất thông tin trải trên nhiều trang của tài liệu dài để xuất kết quả, phù hợp cho việc gọi từ hệ thống nghiệp vụ.
Đánh giá chất lượng phân tích (Jev): xuất điểm chất lượng từ 0–1 cho kết quả phân tích của bất kỳ hệ thống OCR nào, đánh giá mức độ đáng tin cậy của kết quả.
Phân luồng kiểm tra thủ công: tự động sàng lọc theo ngưỡng điểm, kết quả điểm cao được nhập kho mà không cần kiểm tra, điểm thấp chuyển sang xử lý thủ công, giảm đáng kể khối lượng kiểm tra.
Lựa chọn kết quả tốt nhất từ nhiều mô hình: sau khi nhiều mô hình phân tích, Jev chấm điểm từng khu vực và chọn tổ hợp tối ưu, giúp điểm tổng thể tăng tối đa 0.25.
Trích xuất thông tin chính (KIE): trích xuất các trường thông tin quan trọng từ những tình huống như tài liệu bị che bởi con dấu và hóa đơn bán lẻ.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Nền tảng mạnh: được huấn luyện dựa trên mô hình đa phương thức MiniCPM-V 4.6, tận dụng dữ liệu tiền huấn luyện tài liệu quy mô lớn, chất lượng cao tích lũy từ dòng MiniCPM-V/o. Nhờ đó, trước khi huấn luyện chuyên biệt về OCR, mô hình đã có năng lực vững chắc về hiểu hình ảnh và tài liệu, cho phép tập trung quá trình huấn luyện vào độ chính xác nhận diện và đầu ra có cấu trúc.
Kiến trúc tinh gọn: sử dụng phương án chia mảnh thị giác hiệu quả LLaVA-UHDv4, tránh việc chi phí tính toán phình to theo ảnh độ phân giải cao; tích hợp hai thiết kế Upright tự động và Upsize thích ứng.
Tổng hợp dữ liệu và học tăng cường: thu thập dữ liệu hạt giống từ nhiều tình huống thực tế, mở rộng quy mô thông qua tổng hợp Agentic, cân bằng giữa đặc trưng thực tế và tính đa dạng; sau đó tiến hành học tăng cường quy mô lớn dựa trên các tình huống phức tạp thực tế để nâng cao chất lượng phân tích mẫu đuôi dài.
Tăng tốc giải mã DSpark: mô-đun bản nháp nhẹ đề xuất nhiều token ứng viên trong một lần, mô hình chính xác minh song song cùng lúc, thay thế cách sinh từng token, giúp hiệu suất đầu-cuối tăng 55% mà không làm giảm chất lượng.
Phương pháp đánh giá nhanh Jev: áp dụng thiết kế System-1, tính toán prefill một lần truyền tiến, không giải mã tự hồi quy, có độ trễ cực thấp và có thể dùng làm cổng kiểm tra chất lượng tần suất cao; được huấn luyện dựa trên nhãn tính đúng đắn cấp khối do con người gán trong thực tế, để điểm số có thể dùng trực tiếp làm ngưỡng nghiệp vụ.

Triển khai suy luận cục bộ: sử dụng Hugging Face CLI để tải trọng số mô hình (openbmb/MiniCPM-OCR-1.0 hoặc openbmb/MiniCPM-OCR-Jev).
Cài đặt framework suy luận (hiện hỗ trợ vLLM, SGLang, llama.cpp và Ollama; chọn một tùy nhu cầu. Cách khởi chạy chung cho các mô hình dòng OpenBMB là vllm serve openbmb/<tên mô hình> --port 8000).
Chọn phiên bản lượng tử hóa theo phần cứng. Hỗ trợ nhiều loại chip và nhiều định dạng lượng tử hóa; môi trường đầu cuối hoặc năng lực tính toán thấp có thể chọn phiên bản GGUF/INT4.
Nhập ảnh tài liệu, mô hình sẽ tự động hiệu chỉnh, phân tích bố cục và phân tích có cấu trúc, sau đó xuất kết quả Markdown hoặc dữ liệu theo trường.

Độ chính xác đạt hai SOTA: 93.68 điểm trên Real5-OmniDocBench và 54.7 điểm trên OCRBench v2 (dẫn trước vị trí thứ hai 7.7 điểm); đứng đầu 4 trên 6 tiêu chí trong bài đánh giá 14 mô hình phổ biến.
Dẫn đầu về hiệu suất: tăng tốc giải mã DSpark giúp hiệu suất đầu-cuối tăng 55%, thông lượng đạt 1.217 trang/giây, là mô hình duy nhất “nhanh nhất + chính xác nhất” trên biểu đồ phân tán hiệu suất - chất lượng.
Cực kỳ nhẹ: chỉ với 1.3B tham số vẫn vượt qua các mô hình lớn hơn, phù hợp với thiết bị đầu cuối và môi trường năng lực tính toán hạn chế, có thể chạy cục bộ để đáp ứng yêu cầu về quyền riêng tư.
Kết quả đáng tin cậy và có thể đánh giá: Jev là mô hình kiểm tra chất lượng OCR đầu tiên trong ngành, AUROC 93.6 vượt qua các mô hình đánh giá cấp 35B, giúp dự đoán lần đầu “trang nào cần kiểm tra thủ công”.
Kiểm tra chất lượng tích hợp dễ dàng: Jev không phụ thuộc vào hệ thống OCR cụ thể; trên nhiều hệ thống như GLM-OCR và PaddleOCR-VL, AUROC ổn định ở mức 91.9~93.4.

Kho GitHub: https://github.com/OpenBMB/MiniCPM-OCR
Kho mô hình HuggingFace: https://huggingface.co/openbmb/MiniCPM-OCR-1.0
https://huggingface.co/openbmb/MiniCPM-OCR-Jev

Xử lý chứng từ tài chính: tự động nhận diện và nhập có cấu trúc sao kê ngân hàng, séc và giấy báo có; sau khi Jev kiểm tra chất lượng, các chứng từ điểm cao được nhập kho trực tiếp, giảm thao tác nhập liệu thủ công tại quầy.
Rà soát hợp đồng pháp lý: các công ty luật và bộ phận pháp chế phân tích hàng loạt văn bản hợp đồng; chạy cục bộ giúp bảo đảm tài liệu không rời khỏi phạm vi kiểm soát, kết hợp với Jev để miễn kiểm tra tối đa 85% số trang, rút ngắn đáng kể thời gian kiểm tra.
Số hóa bệnh án: bệnh viện chuyển bệnh án giấy và báo cáo xét nghiệm thành dữ liệu điện tử có cấu trúc; triển khai riêng đáp ứng yêu cầu tuân thủ về quyền riêng tư của bệnh nhân.
Quản lý hồ sơ hành chính: nhận diện công văn, giấy tờ và tài liệu có đóng dấu, đồng thời trích xuất thông tin chính (KIE), tự động trích xuất các trường quan trọng bị che bởi con dấu.