MiniCPM5-2B 运营中

MiniCPM5-2B 是面壁智能、OpenBMB 社区与清华大学联合开源的端侧语言基座模型。模型约25亿参数，支持128K上下文，在34项基准均分53.9，超越一众4B级模型，达2B级开源SOTA。模型将工具调用、深度搜索、代码生成等Agent能力压入端侧，可运行于6GB内存设备；同时开源训练数据、RL框架Meshy与JustRL II算法，堪称端侧”小钢炮”。

端侧对话问答：在本地设备上直接运行语言模型，完成日常问答、写作、总结等任务，数据无需上传云端。
长文本理解：支持 128K 上下文，可本地处理会议纪要、合同、长文档并精准提取关键信息。
代码生成与修复：从代码补全到真实仓库级修复（SWE-bench Verified 46.4），可作为本地编码助手。
工具调用：原生支持函数调用，能按需调用外部工具完成查询、计算、数据库交互等操作。
深度搜索：具备搜索 Agent 能力，可自主规划多步检索并整合答案。
混合推理：通过 enable_thinking 开关在快速应答与深度思考模式间切换，兼顾效率与难题求解。
本地批量任务：简历筛选、试卷批改、合同分析等隐私敏感任务可在设备侧低成本并行处理。

微信关注回复“开源”，加入AI开源项目交流群
标准 Dense Transformer 架构：模型采用标准的 LlamaForCausalLM 结构，共 42 层，使用 GQA降低 KV Cache 开销，原生支持 131,072 token 上下文，因架构完全标准，vLLM、llama.cpp、Ollama 等主流框架无需自定义 kernel 即可原生加载。
全链路 Agent 能力培养：Agent 从预训练阶段就针对性铺路，先进行 200B 规模的 Agent Midtraining 注入任务拆解与工具使用先验，再用 50 万条覆盖工具调用、网页搜索、代码 Agent 等场景的 SFT 轨迹教会模型规范执行，最后通过 Agent RL 对齐保证多轮交互中策略稳定，形成”能跑且好用”的完整能力链。
Meshy 强化学习框架：Meshy 去掉了传统 RL 训练的中央控制器与 Ray 依赖，将训练、推理、奖励计算全部建模为对等节点服务，利用 TransferQueue 中的数据就绪状态驱动实际控制流，可在同步、异步、全异步三种模式间灵活切换，使大规模 RL 训练更易扩展、部署更轻量。
JustRL II 奖励学习算法：针对端侧模型长思维链 RL 中”奖励信号带偏模型”和”GRPO 信用分配粗糙”两大痛点，JustRL II 在数据侧采用三阶段流水线校准训练样本，在算法侧为 GRPO 引入 Critic 实现词元级信用分配，精确区分长推理链中每步的贡献。
UltraX 函数调用式数据精炼：UltraX 摒弃大模型端到端重写网页文本的传统做法，改为训练一个 0.6B 轻量模型预测结构化的编辑操作，再由确定性执行器逐行落地——既避免重写带来的语义漂移与结构破坏，又因编辑操作可保存、可审计而实现全程可追溯，实测 16B tokens 精炼语料的训练效果即超过原始语料 20B tokens 满训表现。
UltraData 分级数据治理体系：代码数据采用 L0–L3 递进治理，RL 数据经三阶段流水线剔除不可验证、奖励不可信、难度不匹配的样本，以高质量数据信号弥补小模型容量劣势，这是小参数量下能力反超 4B 模型的关键工程基础。

确认硬件条件：BF16 原版权重约 4.7GiB，或使用约 1.2GB 的 GGUF 量化版在 6GB 内存的手机、普通笔记本上运行。
获取模型权重：从 HuggingFace或魔搭社区下载所需版本，按需选择 BF16 / GGUF / MLX / GPTQ / SFT 等格式。
安装推理框架：云端或高并发场景用 vLLM（≥0.21.0 原生支持，单卡 TP=1 即可），本地轻量部署用 llama.cpp、Ollama 或 SGLang，CPU 环境可用面壁自研的 Arclight 框架。
加载并运行模型：以标准 Llama 架构直接加载，无需任何自定义 kernel。
切换思考模式：通过聊天模板中的 enable_thinking 开关控制快速应答或深度推理，按任务难度选择模式。
接入工具调用/Agent：利用模型原生的函数调用与深度搜索能力，结合配套部署 Cookbook 和 Agent Skills 搭建本地 Agent 工作流。

2B 级开源 SOTA：34 项基准均分 53.9，反超所有参测 4B 级模型，以小博大。
端侧通用 Agent 雏形：原生集成工具调用、深度搜索、代码生成等智能体核心能力，Agent 榜单 20 分居首，领先 Granite 4.2 8B、Qwen3.5 9B 等更大模型。
极致部署友好：标准 Llama 架构 + 全格式发布，vLLM、Ollama、llama.cpp 免改造直接加载，INT4 版仅 1.2GB、6GB 内存设备即可运行。
原生 128K 长上下文：13 万 token 上下文为端侧本地处理会议纪要、合同等长文档提供能力基础。
全链路开源：不止权重，连训练数据（UltraData 系列）、RL 框架（Meshy）、RL 算法（JustRL II）与训练 Recipe 一并开放，可完整复现与二次创新。
高效推理：单任务平均约 21K output tokens，token 消耗低于同级模型，端侧运行更快更省电。
芯片生态广：覆盖 AMD、英特尔、联发科、高通及昇腾、海光、昆仑芯、摩尔线程等 9 款国产芯片 Day0 适配。

GitHub仓库：https://github.com/OpenBMB/MiniCPM
HuggingFace模型库：https://huggingface.co/collections/openbmb/minicpm5

隐私敏感文档处理：会议纪要、合同、内部邮件在本地完成问答与摘要，数据全程不出设备。
招聘与人力资源：本地批量筛选简历、提取候选人信息并结构化比对，避免简历上传云端。
端侧编码助手：离线完成代码补全、调试建议乃至仓库级缺陷修复，保障代码资产安全。
本地深度搜索：自动规划多步网页检索并整合答案，适用于调研、比价、信息收集。
教育与批改：试卷批改、作业讲评、错题分析在本地批量并行，降低学校与教培成本。