MiniCPM-V 4.7 運営中

MiniCPM-V 4.7は、面壁智能とOpenBMBが共同でオープンソース化したエッジ向けマルチモーダル大規模モデルで、35B-A3B（MoE）と1Bの2つのバージョンを提供します。フラッグシップ版は、スマートフォン上でロスなくスムーズに動作する世界初のオープンソースMoEマルチモーダルモデルです。先進的なエキスパートスケジューリング技術により、約3GBのメモリでiPhone上で13+ tokens/sを実現し、34項目のベンチマークで同クラスのモデルを全面的に上回ります。1B版はエントリーレベルのデバイス向けです。

汎用視覚理解：画像認識、複数画像の比較、ビジュアル質問応答に対応し、MMBenchで91.72点を獲得して同クラスのモデルを上回ります。
ドキュメント・OCR解析：画像やPDF内のテキスト、表、グラフを認識し、OCRBenchで91.2点を獲得します。
数学・STEM推論：数学問題や科学的な問いを解答し、MMMUで80.22点、MathVistaで88点を獲得します。
長時間動画理解：長い時系列の動画内容を理解し、関連する質問に回答します。LongVideoBenchで68.9点を獲得します。
エッジ上でのスムーズな実行：35BモデルはiPhone上で約3GBのメモリのみを使用し、13+ tokens/sでリアルタイム生成を実現します。
低コストのカスタム微調整：オープンソースの自己リプレイ微調整により、新しいタスクを学習しても既存の能力を維持できます。

WeChatで「开源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
先読みエキスパートスケジューリング（LES）：MoEモデルの65.6 GiBの重みをすべてメモリに格納できないため、大部分のエキスパートをSSDに保存し、必要なときに読み込みます。しかし、層ごとのルーティングは前の層の結果に依存するため、各層でディスク読み込みを待つ必要があります。LESは隣接する層の入力が非常に似ている特性を利用し、現在の層のルーティング特徴から次の層で必要なエキスパートを先行予測してバックグラウンドでプリフェッチします。同時に、読み込み済みで実際のルーティングに選ばれたエキスパートを優先的に計算し、計算しながら読み込むことで、実測で5倍の高速化と出力品質の完全な維持を実現します。
重みの格納・取得の最適化：層ごとの混合精度量子化により、重みの格納容量と転送量を削減します。同時に、ファイル内のエキスパート重みの配置を再構成し、もともと3か所に分散していたパラメータを番号順に連続配置することで、SSDから1回のシーケンシャル読み込みでエキスパート全体を取得できるようにし、読み込みコストを大幅に削減します。
ビジュアルトークン圧縮：LLaVA-UHD v4に基づき、ビジュアルエンコーダー内部でトークンを早期圧縮し、後続の計算量を根本から削減します。4倍と16倍の2段階の圧縮率に対応し、16倍モードでも主要指標をほぼ損なわず、画質の細部とリアルタイムインタラクションを両立します。
DSpark投機的デコード：軽量なドラフトモジュールが一度に複数の候補トークンを生成し、メインモデルが並列検証してまとめて出力します。複数のトークンでMoEのエキスパート読み込みやスケジューリングなどの固定コストを分担し、実測で生成速度を平均1.17倍向上させながら、品質への影響を抑えます。

モデルの取得：GitHubまたはHugging Faceからモデルの重みとコードをダウンロードします。
ローカルでのクイック体験：Hugging Face Spacesの公式Web Demo（MiniCPM-V-4.7-Demo）にアクセスすると、インストール不要でオンライン試用できます。
アプリのインストール：GitHubのMiniCPM-V-AppsリポジトリからiOS/Androidクライアントをダウンロードし、スマートフォンやタブレットに直接インストールして使用します。
推論フレームワークを選択してデプロイ：ハードウェアプラットフォームに応じて、llama.cpp、Ollama、MLX、vLLM/SGLangのいずれかを選び、モデルを読み込んでローカル推論サービスを構築します。
LESアクセラレーションを有効化（任意）：エッジで35B-A3Bを実行する場合は、オープンソースのドキュメントに従って先読みエキスパートスケジューリングを有効にし、3GBメモリでスムーズに実行します。
ビジュアル圧縮モードを選択：用途に応じて4倍圧縮または16倍圧縮モードに切り替えます。

GitHubリポジトリ：https://github.com/OpenBMB/MiniCPM-V
Hugging Faceモデルコレクション：https://huggingface.co/collections/openbmb/minicpm-v-47

エッジMoEの世界初：エッジ上でロスなくスムーズに動作する世界初のオープンソースMoEマルチモーダル大規模モデルです。
卓越したメモリ効率：65.6 GiBの重みを持つ35Bモデルを約3GBのメモリだけで実行でき、16GBデバイスのメモリの1/4で済みます。
優れた推論速度：iPhone 17 Pro Maxで実測13+ tokens/s、iPad Pro M4で17+ tokens/sを達成し、LES技術により5倍高速化します。
同クラスを全面的に上回る性能：34項目の権威あるベンチマークでQwen3.6-35B-A3Bを全面的に上回り、さらに大規模なQwen 27BやGemma-4 31Bをも上回ります。
性能と効率のパレート最適：より短い推論時間でより高い総合スコアを達成し、エッジ向けマルチモーダルモデルの「性能と効率」の最前線を更新します。
2つのバージョンで幅広く対応：35Bのフラッグシップ版が性能の上限を引き上げ、1Bの小型高性能版がエントリーレベルのデバイスでも高品質なマルチモーダル処理を可能にします。

モバイルオフィスとドキュメント処理：スマートフォンやタブレットで直接撮影、またはPDFを読み込み、テキスト認識、表の抽出、グラフの理解、ドキュメント質問応答をリアルタイムで実行できます。クラウドへのアップロードが不要なため、プライバシーを保護しながらモバイル業務の効率を高めます。
オフライン教育支援：ネットワークに接続できないデバイスでも、学生は写真による問題検索、数学推論、科学質問応答を利用できます。35Bモデルをエッジで実行することで、高品質なAI家庭教師を通信環境の悪い地域にも届けられます。
車載・ロボットビジョン：Day-0チップ対応により、車載システムやロボット端末にモデルをデプロイし、環境認識、障害物理解、人と機械の視覚インタラクションをリアルタイムで実現できます。
動画コンテンツの理解と審査：長時間動画理解機能により、エッジで録画した長時間動画の要約、キーフレームへの質問応答、コンプライアンス審査に対応し、セキュリティ巡回やコンテンツ制作などのシーンで活用できます。