MiniCPM5-2B 面壁智能联合清华开源的端侧语言基座模型

MiniCPM5-2B是什么

MiniCPM5-2B 是面壁智能、OpenBMB 社区与清华大学联合开源的端侧语言基座模型。模型约25亿参数，支持128K上下文，在34项基准均分53.9，超越一众4B级模型，达2B级开源SOTA。模型将工具调用、深度搜索、代码生成等Agent能力压入端侧，可运行于6GB内存设备；同时开源训练数据、RL框架Meshy与JustRL II算法，堪称端侧小钢炮。

MiniCPM5-2B的主要功能

• 端侧对话问答 ：在本地设备上直接运行语言模型，完成日常问答、写作、总结等任务，数据无需上传云端。
• 长文本理解 ：支持 128K 上下文，可本地处理会议纪要、合同、长文档并精准提取关键信息。
• 代码生成与修复 ：从代码补全到真实仓库级修复（SWE-bench Verified 46.4），可作为本地编码助手。
• 工具调用 ：原生支持函数调用，能按需调用外部工具完成查询、计算、数据库交互等操作。
• 深度搜索 ：具备搜索 Agent 能力，可自主规划多步检索并整合答案。
• 混合推理 ：通过 enable_thinking 开关在快速应答与深度思考模式间切换，兼顾效率与难题求解。
• 本地批量任务 ：简历筛选、试卷批改、合同分析等隐私敏感任务可在设备侧低成本并行处理。

MiniCPM5-2B的技术原理

• 标准 Dense Transformer 架构 ：模型采用标准的 LlamaForCausalLM 结构，共 42 层，使用 GQA降低 KV Cache 开销，原生支持 131,072 token 上下文，因架构完全标准，vLLM、llama.cpp、Ollama 等主流框架无需自定义 kernel 即可原生加载。
• 全链路 Agent 能力培养 ：Agent 从预训练阶段就针对性铺路，先进行 200B 规模的 Agent Midtraining 注入任务拆解与工具使用先验，再用 50 万条覆盖工具调用、网页搜索、代码 Agent 等场景的 SFT 轨迹教会模型规范执行，最后通过 Agent RL 对齐保证多轮交互中策略稳定，形成能跑且好用的完整能力链。
• Meshy 强化学习框架 ：Meshy 去掉了传统 RL 训练的中央控制器与 Ray 依赖，将训练、推理、奖励计算全部建模为对等节点服务，利用 TransferQueue 中的数据就绪状态驱动实际控制流，可在同步、异步、全异步三种模式间灵活切换，使大规模 RL 训练更易扩展、部署更轻量。
• JustRL II 奖励学习算法 ：针对端侧模型长思维链 RL 中奖励信号带偏模型和GRPO 信用分配粗糙两大痛点，JustRL II 在数据侧采用三阶段流水线校准训练样本，在算法侧为 GRPO 引入 Critic 实现词元级信用分配，精确区分长推理链中每步的贡献。
• UltraX 函数调用式数据精炼 ：UltraX 摒弃大模型端到端重写网页文本的传统做法，改为训练一个 0.6B 轻量模型预测结构化的编辑操作，再由确定性执行器逐行落地——既避免重写带来的语义漂移与结构破坏，又因编辑操作可保存、可审计而实现全程可追溯，实测 16B tokens 精炼语料的训练效果即超过原始语料 20B tokens 满训表现。
• UltraData 分级数据治理体系 ：代码数据采用 L0–L3 递进治理，RL 数据经三阶段流水线剔除不可验证、奖励不可信、难度不匹配的样本，以高质量数据信号弥补小模型容量劣势，这是小参数量下能力反超 4B 模型的关键工程基础。

如何使用MiniCPM5-2B

• 确认硬件条件 ：BF16 原版权重约 4.7GiB，或使用约 1.2GB 的 GGUF 量化版在 6GB 内存的手机、普通笔记本上运行。
• 获取模型权重 ：从 HuggingFace或魔搭社区下载所需版本，按需选择 BF16 / GGUF / MLX / GPTQ / SFT 等格式。
• 安装推理框架 ：云端或高并发场景用 vLLM（≥0.21.0 原生支持，单卡 TP=1 即可），本地轻量部署用 llama.cpp、Ollama 或 SGLang，CPU 环境可用面壁自研的 Arclight 框架。
• 加载并运行模型 ：以标准 Llama 架构直接加载，无需任何自定义 kernel。
• 切换思考模式 ：通过聊天模板中的 enable_thinking 开关控制快速应答或深度推理，按任务难度选择模式。
• 接入工具调用/Agent ：利用模型原生的函数调用与深度搜索能力，结合配套部署 Cookbook 和 Agent Skills 搭建本地 Agent 工作流。

MiniCPM5-2B的核心优势

• 2B 级开源 SOTA ：34 项基准均分 53.9，反超所有参测 4B 级模型，以小博大。
• 端侧通用 Agent 雏形 ：原生集成工具调用、深度搜索、代码生成等智能体核心能力，Agent 榜单 20 分居首，领先 Granite 4.2 8B、Qwen3.5 9B 等更大模型。
• 极致部署友好 ：标准 Llama 架构 + 全格式发布，vLLM、Ollama、llama.cpp 免改造直接加载，INT4 版仅 1.2GB、6GB 内存设备即可运行。
• 原生 128K 长上下文 ：13 万 token 上下文为端侧本地处理会议纪要、合同等长文档提供能力基础。
• 全链路开源 ：不止权重，连训练数据（UltraData 系列）、RL 框架（Meshy）、RL 算法（JustRL II）与训练 Recipe 一并开放，可完整复现与二次创新。
• 高效推理 ：单任务平均约 21K output tokens，token 消耗低于同级模型，端侧运行更快更省电。
• 芯片生态广 ：覆盖 AMD、英特尔、联发科、高通及昇腾、海光、昆仑芯、摩尔线程等 9 款国产芯片 Day0 适配。

MiniCPM5-2B的项目地址

• GitHub仓库 ：https://github.com/OpenBMB/MiniCPM
• HuggingFace模型库 ：https://huggingface.co/collections/openbmb/minicpm5

MiniCPM5-2B的同类竞品对比

维度 | MiniCPM5-2B | Qwen3.5-2B

MiniCPM5-2B的应用场景

• 隐私敏感文档处理 ：会议纪要、合同、内部邮件在本地完成问答与摘要，数据全程不出设备。
• 招聘与人力资源 ：本地批量筛选简历、提取候选人信息并结构化比对，避免简历上传云端。
• 端侧编码助手 ：离线完成代码补全、调试建议乃至仓库级缺陷修复，保障代码资产安全。
• 本地深度搜索 ：自动规划多步网页检索并整合答案，适用于调研、比价、信息收集。
• 教育与批改 ：试卷批改、作业讲评、错题分析在本地批量并行，降低学校与教培成本。