Xiaomi-OCR-0 运营中

Xiaomi-OCR-0 是小米开源的 0.8B 轻量级多模态文档理解模型，基于 Qwen3.5-0.8B 训练，集文档解析、关键信息抽取、OCR 视觉问答于一体。在Real5-OmniDocBench 95.24 分居首，OmniDocBench v1.6 96.83 分排第二，五项 OCR-VQA 均分 83.2 超越同级模型。Xiaomi-OCR-0 数据引擎采用专家共识标注与渲染校验，配套 MCP、Agent Skill 工具链，已落地小米手机”超级小爱”。

文档解析：识别并还原文档中的正文、复杂表格与数学公式，按自然阅读顺序输出 Markdown/LaTeX 结构化结果。
关键信息抽取（KIE）：针对发票、卡证等半结构化文档，按指定字段精准定位并输出 JSON 结构化数据。
OCR 视觉问答：突破文字转写，支持对文档和图表进行跨元素检索、数值计算与语义推理问答。

微信关注回复“开源”，加入AI开源项目交流群
异构专家共识标注（ETC）：由 8 个架构、数据、策略各异的 OCR 专家模型对文档区域独立预测，按文本（NED）、表格（TEDS）、公式（CDM）分别计算两两一致度，选出共识度最高的三元组并取其中间众数作为伪标签；只有共识度 ≥0.9 的高置信样本直接进入训练集，从源头滤除单模型偏见。
渲染引导校验（Render-Guided Refine-and-Judge）：对专家意见分歧的区域，用 Qwen3.5-122B-A10B 将候选解析结果重新渲染成图像，与原始区域做像素与结构级比对以定位行列错位、符号缺失等隐蔽缺陷，迭代修正最多 3 轮；仍不收敛的进入带完整校验历史的第二阶段”诊断—修正—验证”，最终需回到专家池重新达成共识才被采信。
采样挖掘与定向合成：训练配比由三个信号联合决定，专家共识度、模型自一致性、K-Means 语义聚类，据此分别构造 CPT 的广覆盖混合集与 RL 的重难例集；合成数据分”覆盖驱动”和”失败驱动”两路，且配方效果需在冻结验证集上验证后才采纳。
渐进式三阶段训练：先用 Q-Mask 文本锚定预训练建立文字内容与空间位置的细粒度对齐；再进行多任务 OCR 持续预训练，在同一自回归格式下扩展全页解析、区域识别、VQA 等任务覆盖；最后在挖掘出的难例上用 DAPO 式 Mix-RL 强化学习收尾，按任务类型路由奖励，以可验证奖励突破复杂版式与多步推理上限。

获取代码：克隆 GitHub 仓库 SeerRay-Lab/Xiaomi-OCR-0 并安装 requirements 中的依赖环境。
下载权重：从 Hugging Face SeerRay-Lab/Xiaomi-OCR-0 拉取 0.8B 模型权重文件。
快速体验：运行项目自带脚本启动浏览器交互式 Demo，上传文档图片即可在线试解析、抽取和问答。
配置 Agent 调用：将仓库中的 MCP 服务或 Agent Skill 接入你的智能体，实现”识别屏幕/文档—提取字段—执行下一步”的自动化流程。
本地服务部署：用 SGLang 或 vLLM 将模型部署为本地推理服务，供业务系统通过 API 调用。
接入版面检测：采用两阶段管线时，先用 PP-DocLayoutV3 检测文字/表格/公式区域，再逐区域送入 Xiaomi-OCR-0 识别并拼装成页级结果。
编写指令：以统一的 image–instruction–response 格式构造提示词，分别指定解析、KIE或 VQA 任务类型。

极致参数效率：仅 0.8B 参数即在 OmniDocBench v1.6 拿 96.83 分，0.8B–1.2B 专用模型已全面超越 GPT-5.2、Qwen3-VL-235B 等通用大模型。
真实采集鲁棒性第一：Real5-OmniDocBench 95.24 分居首，扫描、纸张弯曲、屏幕翻拍、光照不均、倾斜拍摄五种干扰场景全部领先。
三能力一体化：文档解析、关键信息抽取、OCR 视觉问答统一于单一模型，通过共享指令接口切换任务，无需拼接多个专用模型。
数据引擎替代参数堆叠：1.7 亿条样本由专家共识投票、渲染引导校验、失败驱动合成自动化产出，用数据质量换模型规模。
课程学习正向迁移：理解监督在解析成熟后反哺解析最高 +0.64 分，实现轻量模型下的双重能力跃升。

项目官网：https://huggingface.co/spaces/xiaomi-research/Xiaomi-OCR-0
GitHub仓库：https://github.com/xiaomi-research/Xiaomi-OCR-0
HuggingFace模型库：https://huggingface.co/xiaomi-research/Xiaomi-OCR-0
arXiv技术论文：https://arxiv.org/pdf/2609.36136

即时生活凭证管理：识别外卖取餐码、快递取件码、排队号等时效信息并”上岛”，在需要时一触即达。
智能记账与账单整理：一键从微信/支付宝账单详情中抽取金额、商户、时间与类别，自动生成记账记录。
卡证票据结构化录入：拍照或识屏提取身份证、银行卡、发票、护照等字段为 JSON，替代手动录入与核对。
日程智能生成：从群聊通知、活动海报中提取时间与地点，自动生成日程卡片并添加至日历。
出行信息联动：从聊天中提取航班号等行程信息，自动查询实时起降动态并推送提醒。