Xiaomi-OCR-0 小米开源的轻量级多模态文档理解模型

Xiaomi-OCR-0是什么

Xiaomi-OCR-0 是小米开源的 0.8B 轻量级多模态文档理解模型，基于 Qwen3.5-0.8B 训练，集文档解析、关键信息抽取、OCR 视觉问答于一体。在Real5-OmniDocBench 95.24 分居首，OmniDocBench v1.6 96.83 分排第二，五项 OCR-VQA 均分 83.2 超越同级模型。Xiaomi-OCR-0 数据引擎采用专家共识标注与渲染校验，配套 MCP、Agent Skill 工具链，已落地小米手机超级小爱。

Xiaomi-OCR-0的主要功能

• 文档解析 ：识别并还原文档中的正文、复杂表格与数学公式，按自然阅读顺序输出 Markdown/LaTeX 结构化结果。
• 关键信息抽取（KIE） ：针对发票、卡证等半结构化文档，按指定字段精准定位并输出 JSON 结构化数据。
• OCR 视觉问答 ：突破文字转写，支持对文档和图表进行跨元素检索、数值计算与语义推理问答。

Xiaomi-OCR-0的技术原理

• 异构专家共识标注（ETC） ：由 8 个架构、数据、策略各异的 OCR 专家模型对文档区域独立预测，按文本（NED）、表格（TEDS）、公式（CDM）分别计算两两一致度，选出共识度最高的三元组并取其中间众数作为伪标签；只有共识度 ≥0.9 的高置信样本直接进入训练集，从源头滤除单模型偏见。
• 渲染引导校验（Render-Guided Refine-and-Judge） ：对专家意见分歧的区域，用 Qwen3.5-122B-A10B 将候选解析结果重新渲染成图像，与原始区域做像素与结构级比对以定位行列错位、符号缺失等隐蔽缺陷，迭代修正最多 3 轮；仍不收敛的进入带完整校验历史的第二阶段诊断—修正—验证，最终需回到专家池重新达成共识才被采信。
• 采样挖掘与定向合成 ：训练配比由三个信号联合决定，专家共识度、模型自一致性、K-Means 语义聚类，据此分别构造 CPT 的广覆盖混合集与 RL 的重难例集；合成数据分覆盖驱动和失败驱动两路，且配方效果需在冻结验证集上验证后才采纳。
• 渐进式三阶段训练 ：先用 Q-Mask 文本锚定预训练建立文字内容与空间位置的细粒度对齐；再进行多任务 OCR 持续预训练，在同一自回归格式下扩展全页解析、区域识别、VQA 等任务覆盖；最后在挖掘出的难例上用 DAPO 式 Mix-RL 强化学习收尾，按任务类型路由奖励，以可验证奖励突破复杂版式与多步推理上限。

如何使用Xiaomi-OCR-0

• 获取代码 ：克隆 GitHub 仓库 SeerRay-Lab/Xiaomi-OCR-0 并安装 requirements 中的依赖环境。
• 下载权重 ：从 Hugging Face SeerRay-Lab/Xiaomi-OCR-0 拉取 0.8B 模型权重文件。
• 快速体验 ：运行项目自带脚本启动浏览器交互式 Demo，上传文档图片即可在线试解析、抽取和问答。
• 配置 Agent 调用 ：将仓库中的 MCP 服务或 Agent Skill 接入你的智能体，实现识别屏幕/文档—提取字段—执行下一步的自动化流程。
• 本地服务部署 ：用 SGLang 或 vLLM 将模型部署为本地推理服务，供业务系统通过 API 调用。
• 接入版面检测 ：采用两阶段管线时，先用 PP-DocLayoutV3 检测文字/表格/公式区域，再逐区域送入 Xiaomi-OCR-0 识别并拼装成页级结果。
• 编写指令 ：以统一的 image–instruction–response 格式构造提示词，分别指定解析、KIE或 VQA 任务类型。

Xiaomi-OCR-0的核心优势

• 极致参数效率 ：仅 0.8B 参数即在 OmniDocBench v1.6 拿 96.83 分，0.8B–1.2B 专用模型已全面超越 GPT-5.2、Qwen3-VL-235B 等通用大模型。
• 真实采集鲁棒性第一 ：Real5-OmniDocBench 95.24 分居首，扫描、纸张弯曲、屏幕翻拍、光照不均、倾斜拍摄五种干扰场景全部领先。
• 三能力一体化 ：文档解析、关键信息抽取、OCR 视觉问答统一于单一模型，通过共享指令接口切换任务，无需拼接多个专用模型。
• 数据引擎替代参数堆叠 ：1.7 亿条样本由专家共识投票、渲染引导校验、失败驱动合成自动化产出，用数据质量换模型规模。
• 课程学习正向迁移 ：理解监督在解析成熟后反哺解析最高 +0.64 分，实现轻量模型下的双重能力跃升。

Xiaomi-OCR-0的项目地址

• 项目官网 ：https://huggingface.co/spaces/xiaomi-research/Xiaomi-OCR-0
• GitHub仓库 ：https://github.com/xiaomi-research/Xiaomi-OCR-0
• HuggingFace模型库 ：https://huggingface.co/xiaomi-research/Xiaomi-OCR-0
• arXiv技术论文 ：https://arxiv.org/pdf/2609.36136

Xiaomi-OCR-0的同类竞品对比

对比维度 | Xiaomi-OCR-0（小米） | TeleOCR（阿里）

Xiaomi-OCR-0的应用场景

• 即时生活凭证管理 ：识别外卖取餐码、快递取件码、排队号等时效信息并上岛，在需要时一触即达。
• 智能记账与账单整理 ：一键从微信/支付宝账单详情中抽取金额、商户、时间与类别，自动生成记账记录。
• 卡证票据结构化录入 ：拍照或识屏提取身份证、银行卡、发票、护照等字段为 JSON，替代手动录入与核对。
• 日程智能生成 ：从群聊通知、活动海报中提取时间与地点，自动生成日程卡片并添加至日历。
• 出行信息联动 ：从聊天中提取航班号等行程信息，自动查询实时起降动态并推送提醒。