MiniCPM-OCR 面壁智能开源的 OCR 系列模型
MiniCPM-OCR是什么
MiniCPM-OCR 是面壁智能发布并开源的 OCR 系列模型。 MiniCPM-OCR 1.0（1.3B）为文档解析专用模型，在 Real5-OmniDocBench与 OCRBench v2双获 SOTA，DSpark 解码加速使其吞吐量达 1.217 页/秒，又快又准；MiniCPM-OCR Jev（2B）为业内首个解析结果判别模型，输出质量评分，可自动筛选免检人工核验，降低人力成本。MiniCPM-OCR适用金融、财税、法务、医疗等隐私敏感场景，支持端侧本地运行与二次微调。
MiniCPM-OCR的主要功能
文档解析与结构化 ：将票据、合同、报表、病历等文档还原为版面结构，输出 Markdown 或字段化数据。
复杂版面识别 ：支持多栏报纸、财务宽表、手写笔记、复杂矩阵公式、盖章遮挡文档等七类高频场景。
图像自动纠偏 ：自动判断并纠正旋转、倒置的文档，无需人工摆正。
跨页内容合并 ：长文档跨页信息可合并输出，适配业务系统调用。
解析质量判别（Jev） ：对任意 OCR 系统的解析结果输出 0–1 质量评分，判断结果可不可信。
人工核验分流 ：按评分阈值自动筛选，高分免检入库，低分转人工，大幅减少核验工作量。
多模型择优 ：多模型解析后由 Jev 逐区评分选优组合，整体得分最高提升 0.25。
关键信息抽取（KIE） ：从印章遮挡、小票等场景中抽取关键字段信息。
MiniCPM-OCR的技术原理
强大基座 ：基于 MiniCPM-V 4.6 多模态模型训练，复用 MiniCPM-V/o 系列积累的大规模高质量文档预训练数据，使模型在 OCR 专项训练前已具备扎实的图像与文档理解能力，训练可集中在识别精度与结构化输出上。
精巧架构 ：采用 LLaVA-UHDv4 高效视觉分片方案，避免计算量随高分辨率图像膨胀；集成自动 Upright 与自适应 Upsize 两项设计。
数据合成与强化学习 ：从大量真实场景收集种子数据，通过 Agentic 合成规模化扩展，兼顾真实特征与多样性；再基于真实复杂场景开展大规模强化学习，提升长尾样本解析质量。
DSpark 解码加速 ：轻量草稿模块一次提出多个候选 token，主模型一次性并行验证，替代逐 token 生成，在不牺牲质量的前提下端到端效率提升 55%。
Jev 快思考判别路线 ：采用 System-1 设计，单次前向 prefill 计算、无自回归解码，延迟极低可作高频质检门禁；基于真实人工标注的块级正确性标签训练，使评分可直接用作业务阈值。
如何使用MiniCPM-OCR
本地部署推理 通过 Hugging Face CLI 下载模型权重（ openbmb/MiniCPM-OCR-1.0 或 openbmb/MiniCPM-OCR-Jev ）。
安装推理框架（首日适配 vLLM、SGLang、llama.cpp、Ollama，按需任选其一，OpenBMB 系列模型通用启动方式为 vllm serve openbmb/模型名 --port 8000 ）。
按硬件选择量化版本，提供多芯片适配与多种量化格式，端侧或低算力环境可选 GGUF/INT4 版本。
输入文档图像，模型自动完成纠偏、版面分析与结构化解析，输出 Markdown 或字段化结果。
MiniCPM-OCR的核心优势
双 SOTA 精度 ：Real5-OmniDocBench 93.68 分、OCRBench v2 54.7 分（领先次优 7.7 分），14 款主流模型横评 6 项基准 4 项第一。
效率领先 ：DSpark 解码加速使端到端效率提升 55%，吞吐达 1.217 页/秒，是效率—效果散点图中唯一最快+最准的模型。
极致轻量 ：仅 1.3B 参数可超越更大模型，适配端侧与有限算力环境，可本地运行满足隐私要求。
结果可信可判别 ：Jev 为业内首个 OCR 质检模型，AUROC 93.6 超越 35B 级判别模型，让哪页需要人工核验第一次可预知。
质检即插即用 ：Jev 不绑定特定 OCR 系统，在 GLM-OCR、PaddleOCR-VL 等多系统上 AUROC 稳定于 91.9~93.4。
MiniCPM-OCR的项目地址
HuggingFace模型库 ： https://huggingface.co/openbmb/MiniCPM-OCR-1.0
https://huggingface.co/openbmb/MiniCPM-OCR-Jev
MiniCPM-OCR的同类竞品对比
对比维度 | MiniCPM-OCR 1.0 | PaddleOCR-VL-1.6
对比维度 | MiniCPM-OCR 1.0 | PaddleOCR-VL-1.6 |
|---|---|---|
参数量 | 1.3B（轻量） | 约 0.9B |
OCRBench v2 | 54.7 分（SOTA） | 低于 MiniCPM-OCR 7.7 分以上 |
Real5-OmniDocBench | 93.68 分（SOTA） | 处于第一梯队但非第一 |
吞吐量 | 1.217 页/秒 | 约 0.82 页/秒（MiniCPM-OCR 的 1.49 倍） |
质量判别能力 | ✅ 配套 Jev（2B）质检模型 | ❌ 无原生解析结果判别模块 |
人工核验支持 | Jev 评分自动分流，最高免检 85% | 依赖人工全量核验 |
端侧部署 | 强（1.3B + 多量化版本 + llama.cpp/Ollama） | 支持，但轻量化配置需自行调优 |
多模型择优 | ✅ Jev 支持跨模型评分选优 | ❌ 不支持 |
开源与微调 | 全量开源，微调支持同步上线 | 开源，微调生态成熟 |
MiniCPM-OCR的应用场景
金融票据处理 ：银行流水、支票、回单的自动识别与结构化录入，Jev 质检后高分票据直接入库，减少柜面人工录入。
法律合同审查 ：律所/法务部门批量解析合同文本，本地运行保证文书不出域，配合 Jev 免检最高 85% 的页面，大幅压缩核验时间。
医疗病历数字化 ：医院将纸质病历、检验报告转为结构化电子数据，私有化部署满足患者隐私合规要求。
政务档案管理 ：公文、证件、盖章文件的识别与关键信息抽取（KIE），自动提取印章遮挡下的关键字段。
