MiniCPM5-2B 운영 중

MiniCPM5-2B는 면벽지능, OpenBMB 커뮤니티와 칭화대학교가 공동으로 오픈 소스화한 엣지 디바이스용 언어 기반 모델입니다. 약 25억 개의 파라미터를 갖추고 128K 컨텍스트를 지원하며, 34개 벤치마크에서 평균 53.9점을 기록해 다수의 4B급 모델을 넘어 2B급 오픈 소스 SOTA에 도달했습니다. 도구 호출, 심층 검색, 코드 생성 등의 Agent 기능을 엣지 디바이스에 탑재해 6GB 메모리 기기에서도 실행할 수 있습니다. 또한 학습 데이터, RL 프레임워크 Meshy와 JustRL II 알고리즘을 함께 공개해 엣지 디바이스용 ‘작지만 강력한 모델’이라 할 수 있습니다.

엣지 디바이스 대화 및 질의응답: 로컬 기기에서 언어 모델을 직접 실행해 일상적인 질의응답, 글쓰기, 요약 등의 작업을 수행하며 데이터가 클라우드로 업로드되지 않습니다.
긴 텍스트 이해: 128K 컨텍스트를 지원해 회의록, 계약서, 장문 문서를 로컬에서 처리하고 핵심 정보를 정확하게 추출할 수 있습니다.
코드 생성 및 수정: 코드 자동 완성부터 실제 저장소 수준의 수정(SWE-bench Verified 46.4)까지 지원해 로컬 코딩 도우미로 활용할 수 있습니다.
도구 호출: 함수 호출을 기본 지원하며, 필요에 따라 외부 도구를 호출해 조회, 계산, 데이터베이스 상호작용 등의 작업을 수행할 수 있습니다.
심층 검색: 검색 Agent 기능을 갖추고 있어 여러 단계의 검색을 자율적으로 계획하고 답변을 통합할 수 있습니다.
혼합 추론: enable_thinking 스위치로 빠른 응답 모드와 심층 사고 모드 사이를 전환해 효율성과 문제 해결 능력을 모두 확보할 수 있습니다.
로컬 일괄 작업: 이력서 선별, 시험지 채점, 계약서 분석 등 개인정보 보호가 중요한 작업을 기기에서 저비용으로 병렬 처리할 수 있습니다.

WeChat에서 팔로우한 후 “开源”에 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 참여하세요.
표준 Dense Transformer 아키텍처: 모델은 표준 LlamaForCausalLM 구조를 사용하며 총 42개 레이어로 구성됩니다. GQA를 사용해 KV Cache 오버헤드를 줄이고, 기본적으로 131,072 token 컨텍스트를 지원합니다. 아키텍처가 완전히 표준화되어 있어 vLLM, llama.cpp, Ollama 등 주요 프레임워크에서 사용자 정의 kernel 없이 바로 로드할 수 있습니다.
전 과정 Agent 역량 강화: 사전 학습 단계부터 Agent 역량을 체계적으로 구축합니다. 먼저 200B 규모의 Agent Midtraining으로 작업 분해와 도구 사용에 대한 사전 지식을 주입하고, 도구 호출, 웹 검색, 코드 Agent 등 다양한 시나리오를 포함한 50만 개의 SFT 궤적을 통해 모델이 표준 절차를 학습하도록 합니다. 마지막으로 Agent RL을 통해 다중 턴 상호작용에서 정책 안정성을 확보해 ‘실행 가능하면서도 사용하기 쉬운’ 완전한 역량 체인을 형성합니다.
Meshy 강화학습 프레임워크: Meshy는 기존 RL 학습의 중앙 컨트롤러와 Ray 의존성을 제거하고, 학습, 추론, 보상 계산을 모두 대등한 노드 서비스로 모델링합니다. TransferQueue의 데이터 준비 상태를 이용해 실제 제어 흐름을 구동하며, 동기식, 비동기식, 완전 비동기식의 세 가지 모드 사이를 유연하게 전환할 수 있어 대규모 RL 학습의 확장성을 높이고 배포를 경량화합니다.
JustRL II 보상 학습 알고리즘: 엣지 모델의 긴 사고 사슬 RL에서 발생하는 ‘보상 신호가 모델을 잘못 이끄는 문제’와 ‘GRPO의 거친 신용 할당’이라는 두 가지 핵심 문제를 해결합니다. JustRL II는 데이터 측면에서 3단계 파이프라인으로 학습 샘플을 보정하고, 알고리즘 측면에서는 GRPO에 Critic을 도입해 토큰 수준의 신용 할당을 구현함으로써 긴 추론 과정에서 각 단계의 기여도를 정확하게 구분합니다.
UltraX 함수 호출 방식 데이터 정제: UltraX는 대규모 모델이 웹 텍스트를 엔드투엔드로 다시 작성하는 기존 방식을 버리고, 구조화된 편집 작업을 예측하는 0.6B 경량 모델을 학습한 뒤 결정론적 실행기가 이를 한 줄씩 적용합니다. 이를 통해 재작성으로 인한 의미 변형과 구조 손상을 방지하고, 편집 작업을 저장하고 감사할 수 있어 전 과정을 추적할 수 있습니다. 실제 테스트에서 16B tokens 정제 말뭉치의 학습 효과가 원본 20B tokens 전체 학습 성능을 넘어섰습니다.
UltraData 계층형 데이터 거버넌스 체계: 코드 데이터는 L0–L3 단계별 거버넌스를 적용하고, RL 데이터는 3단계 파이프라인을 통해 검증할 수 없거나 보상을 신뢰하기 어렵고 난이도가 맞지 않는 샘플을 제거합니다. 고품질 데이터 신호로 소형 모델의 용량 한계를 보완하는 것이 적은 파라미터로 4B 모델을 넘어서는 핵심 엔지니어링 기반입니다.

하드웨어 조건 확인: BF16 원본 가중치는 약 4.7GiB이며, 약 1.2GB의 GGUF 양자화 버전을 사용하면 6GB 메모리의 휴대전화와 일반 노트북에서도 실행할 수 있습니다.
모델 가중치 받기: HuggingFace 또는 ModelScope 커뮤니티에서 필요한 버전을 다운로드하고, 필요에 따라 BF16 / GGUF / MLX / GPTQ / SFT 등의 형식을 선택합니다.
추론 프레임워크 설치: 클라우드 또는 높은 동시성 환경에서는 vLLM(≥0.21.0 기본 지원, 단일 카드 TP=1이면 충분)을 사용하고, 로컬 경량 배포에는 llama.cpp, Ollama 또는 SGLang을 사용합니다. CPU 환경에서는 면벽지능이 자체 개발한 Arclight 프레임워크를 사용할 수 있습니다.
모델 로드 및 실행: 표준 Llama 아키텍처로 직접 로드하며 사용자 정의 kernel이 필요하지 않습니다.
사고 모드 전환: 채팅 템플릿의 enable_thinking 스위치로 빠른 응답 또는 심층 추론을 제어하고, 작업 난이도에 따라 모드를 선택합니다.
도구 호출/Agent 연동: 모델의 기본 함수 호출 및 심층 검색 기능을 활용하고, 함께 제공되는 배포 Cookbook과 Agent Skills를 결합해 로컬 Agent 워크플로를 구축합니다.

2B급 오픈 소스 SOTA: 34개 벤치마크에서 평균 53.9점을 기록해 평가에 참여한 모든 4B급 모델을 넘어섰습니다.
엣지 디바이스용 범용 Agent의 기반: 도구 호출, 심층 검색, 코드 생성 등 Agent의 핵심 기능을 기본 통합했으며, Agent 순위에서 20점을 기록해 1위를 차지하고 Granite 4.2 8B, Qwen3.5 9B 등 더 큰 모델을 앞섭니다.
최적화된 배포 편의성: 표준 Llama 아키텍처와 전 형식 배포를 지원해 vLLM, Ollama, llama.cpp에서 수정 없이 바로 로드할 수 있으며, INT4 버전은 1.2GB에 불과해 6GB 메모리 기기에서 실행할 수 있습니다.
기본 128K 긴 컨텍스트: 13만 token 컨텍스트를 통해 회의록과 계약서 등 장문 문서를 엣지 디바이스에서 로컬 처리할 수 있는 기반을 제공합니다.
전 과정 오픈 소스: 가중치뿐 아니라 학습 데이터(UltraData 시리즈), RL 프레임워크(Meshy), RL 알고리즘(JustRL II), 학습 Recipe까지 모두 공개해 완전한 재현과 2차 혁신이 가능합니다.
효율적인 추론: 단일 작업의 평균 출력이 약 21K output tokens이며, 동급 모델보다 token 소비량이 적어 엣지 디바이스에서 더 빠르고 적은 전력으로 실행됩니다.
폭넓은 칩 생태계: AMD, 인텔, 미디어텍, 퀄컴 및 Ascend, Hygon, Kunlunxin, Moore Threads 등 9종의 중국산 칩에 Day0 대응을 제공합니다.

GitHub 저장소：https://github.com/OpenBMB/MiniCPM
HuggingFace 모델 컬렉션：https://huggingface.co/collections/openbmb/minicpm5

개인정보 보호가 중요한 문서 처리: 회의록, 계약서, 내부 이메일에 대한 질의응답과 요약을 로컬에서 수행해 데이터가 기기 밖으로 나가지 않습니다.
채용 및 인사 관리: 이력서를 로컬에서 일괄 선별하고 지원자 정보를 추출해 구조화된 방식으로 비교함으로써 이력서를 클라우드에 업로드하지 않아도 됩니다.
엣지 디바이스 코딩 도우미: 오프라인에서 코드 자동 완성, 디버깅 제안, 저장소 수준의 결함 수정까지 수행해 코드 자산을 안전하게 보호합니다.
로컬 심층 검색: 여러 단계의 웹 검색을 자동으로 계획하고 답변을 통합해 조사, 가격 비교, 정보 수집에 활용할 수 있습니다.
교육 및 채점: 시험지 채점, 과제 해설, 오답 분석을 로컬에서 일괄 병렬 처리해 학교와 교육 기관의 비용을 줄입니다.