MiniCPM-V 4.7 운영 중

MiniCPM-V 4.7은 면벽지능과 OpenBMB가 공동으로 오픈 소스로 공개한 온디바이스 멀티모달 대규모 모델로, 35B-A3B（MoE）와 1B 두 가지 버전으로 제공됩니다. 플래그십 버전은 휴대폰에서 손실 없이 원활하게 실행할 수 있는 세계 최초의 오픈 소스 MoE 멀티모달 모델입니다. 선제적 전문가 스케줄링 기술을 통해 약 3GB 메모리만으로 iPhone에서 13+ tokens/s를 달성하며, 34개 벤치마크에서 동급 모델을 전면적으로 앞섭니다. 1B 버전은 보급형 기기를 대상으로 합니다.

범용 시각 이해: 이미지 속 사물 인식, 여러 이미지 비교, 시각 질의응답을 지원하며 MMBench에서 91.72점으로 동급 모델을 앞섭니다.
문서 및 OCR 분석: 이미지/PDF의 텍스트, 표, 차트를 인식하며 OCRBench에서 91.2점을 기록합니다.
수학 및 STEM 추론: 수학 문제와 과학 문제를 해결하며 MMMU 80.22점, MathVista 88점을 달성합니다.
장시간 동영상 이해: 긴 시간의 동영상 내용을 이해하고 관련 질문에 답하며 LongVideoBench에서 68.9점을 기록합니다.
온디바이스 원활 실행: 35B 모델이 iPhone에서 약 3GB 메모리만 사용하며 13+ tokens/s의 실시간 생성을 제공합니다.
저비용 맞춤 미세 조정: 오픈 소스 자기 회고 미세 조정을 통해 기존 능력을 유지하면서 새로운 작업을 학습합니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요.
선제적 전문가 스케줄링（LES）: MoE 모델의 65.6 GiB 가중치를 모두 메모리에 저장할 수 없으므로 대부분의 전문가는 SSD에 저장하고 필요할 때 읽어옵니다. 그러나 계층별 라우팅은 이전 계층의 결과에 의존하기 때문에 각 계층마다 디스크 읽기가 끝날 때까지 대기해야 합니다. LES는 인접 계층의 입력이 매우 유사하다는 특성을 활용해 현재 계층의 라우팅 특징으로 다음 계층에 필요한 전문가를 미리 예측하고 백그라운드에서 프리페치합니다. 동시에 이미 로드되었고 실제 라우팅에 선택된 전문가를 우선 계산하여 계산과 읽기를 병행합니다. 실제 테스트에서 5배의 속도 향상을 달성했으며 출력 손실은 없습니다.
가중치 저장 및 접근 최적화: 계층별 혼합 정밀도 양자화를 통해 가중치의 저장 용량과 전송량을 줄입니다. 또한 파일 내 전문가 가중치의 배치를 재구성하여 기존에 세 곳으로 분산되어 있던 파라미터를 번호순으로 연속 배치합니다. 이를 통해 SSD에서 한 번의 순차 읽기로 완전한 전문가를 가져올 수 있어 로딩 오버헤드를 크게 줄입니다.
시각 토큰 압축: LLaVA-UHD v4를 기반으로 시각 인코더 내부에서 토큰을 미리 압축하여 후속 계산량을 원천적으로 줄입니다. 4배/16배 두 가지 압축률을 지원하며, 16배 모드에서도 핵심 지표가 거의 손실되지 않아 화질 세부 정보와 실시간 상호작용을 모두 확보합니다.
DSpark 추측 디코딩: 경량 초안 모듈이 한 번에 여러 후보 토큰을 생성하고, 메인 모델이 이를 병렬 검증한 뒤 일괄 출력합니다. 여러 토큰이 MoE의 전문가 읽기 및 스케줄링과 같은 고정 비용을 분담하므로 실제 생성 속도가 평균 1.17배 향상되며 품질에는 영향을 주지 않습니다.

모델 받기: GitHub와 Hugging Face에서 모델 가중치와 코드를 다운로드합니다.
로컬에서 빠르게 체험하기: Hugging Face Spaces의 공식 Web Demo（MiniCPM-V-4.7-Demo）에 접속하면 설치 없이 온라인으로 체험할 수 있습니다.
앱 설치: GitHub의 MiniCPM-V-Apps 저장소에서 iOS/Android 클라이언트를 다운로드하여 휴대폰이나 태블릿에 직접 설치합니다.
추론 프레임워크를 선택하여 배포: 하드웨어 플랫폼에 따라 llama.cpp, Ollama, MLX 또는 vLLM/SGLang 중 하나를 선택해 모델을 로드하고 로컬 추론 서비스를 배포합니다.
LES 가속 활성화（선택 사항）: 온디바이스에서 35B-A3B를 실행할 때 오픈 소스 문서에 따라 선제적 전문가 스케줄링을 활성화하면 3GB 메모리에서도 원활하게 실행할 수 있습니다.
시각 압축 모드 선택: 필요에 따라 4배 압축 또는 16배 압축 모드로 전환합니다.

GitHub 저장소: https://github.com/OpenBMB/MiniCPM-V
Hugging Face 모델 저장소: https://huggingface.co/collections/openbmb/minicpm-v-47

세계 최초의 온디바이스 MoE: 온디바이스에서 손실 없이 원활하게 실행할 수 있는 세계 최초의 오픈 소스 MoE 멀티모달 대규모 모델입니다.
탁월한 메모리 효율: 65.6 GiB 가중치를 가진 35B 모델이 약 3GB 메모리만으로 실행되며, 16GB 기기 메모리의 1/4에 해당합니다.
뛰어난 추론 속도: iPhone 17 Pro Max에서 실제 13+ tokens/s, iPad Pro M4에서 17+ tokens/s를 달성하며, LES 기술로 속도가 5배 향상됩니다.
동급 모델을 전면적으로 능가하는 성능: 34개 권위 있는 벤치마크에서 Qwen3.6-35B-A3B를 전면적으로 앞서며, 더 큰 규모의 Qwen 27B와 Gemma-4 31B도 능가합니다.
성능과 효율의 파레토 최적: 더 짧은 추론 시간으로 더 높은 종합 점수를 달성하여 온디바이스 멀티모달 “성능—효율”의 한계를 새롭게 높였습니다.
두 버전으로 폭넓은 지원: 35B 플래그십은 성능의 상한을 높이고, 1B 소형 고성능 모델은 보급형 기기에서도 고품질 멀티모달 기능을 실행할 수 있게 합니다.

모바일 업무 및 문서 처리: 휴대폰/태블릿에서 직접 사진을 촬영하거나 PDF를 가져와 텍스트 인식, 표 추출, 차트 이해, 문서 질의응답을 실시간으로 수행합니다. 클라우드에 업로드할 필요가 없어 개인정보를 보호하면서 모바일 업무 효율을 높일 수 있습니다.
오프라인 교육 지원: 학생은 네트워크가 없는 기기에서도 사진으로 문제를 검색하고 수학 추론과 과학 질의응답을 수행할 수 있습니다. 35B 모델의 온디바이스 실행으로 네트워크 환경이 열악한 지역에도 고품질 AI 학습 도우미를 제공할 수 있습니다.
차량 및 로봇 비전: Day-0 칩 적응을 기반으로 차량용 인포테인먼트 시스템과 로봇 단말에 모델을 배포하여 실시간 환경 인식, 장애물 이해, 인간-기계 시각 상호작용을 구현할 수 있습니다.
동영상 콘텐츠 이해 및 심사: 장시간 동영상 이해 기능을 통해 온디바이스에서 녹화한 긴 동영상의 콘텐츠 요약, 주요 프레임 질의응답, 규정 준수 심사를 지원하며 보안 점검, 콘텐츠 제작 등의 분야에 활용할 수 있습니다.