MiniCPM-V 4.7 Đang hoạt động

MiniCPM-V 4.7 là mô hình đa phương thức đầu cuối mã nguồn mở do面壁智能 phối hợp cùng OpenBMB phát hành, gồm hai phiên bản 35B-A3B (MoE) và 1B. Phiên bản flagship là mô hình đa phương thức MoE mã nguồn mở đầu tiên trên thế giới có thể chạy mượt mà, không suy giảm chất lượng trên điện thoại; nhờ công nghệ điều phối chuyên gia dự đoán, mô hình chỉ dùng khoảng 3GB bộ nhớ nhưng có thể đạt hơn 13 tokens/s trên iPhone, dẫn đầu toàn diện các mô hình cùng phân khúc trong 34 bài kiểm chuẩn; phiên bản 1B hướng đến các thiết bị phổ thông.

Hiểu hình ảnh tổng quát: nhận diện vật thể, so sánh nhiều hình ảnh, hỏi đáp trực quan, đạt 91.72 điểm MMBench và dẫn đầu các mô hình cùng phân khúc.
Phân tích tài liệu và OCR: nhận diện văn bản, bảng biểu và biểu đồ trong hình ảnh/PDF, đạt 91.2 điểm OCRBench.
Suy luận toán học và STEM: giải bài toán và câu hỏi khoa học, đạt 80.22 điểm MMMU và 88 điểm MathVista.
Hiểu video dài: hiểu nội dung video có trình tự thời gian dài và trả lời các câu hỏi liên quan, đạt 68.9 điểm LongVideoBench.
Chạy mượt trên thiết bị đầu cuối: mô hình 35B chỉ dùng khoảng 3GB bộ nhớ trên iPhone, tạo nội dung theo thời gian thực với tốc độ hơn 13 tokens/s.
Tinh chỉnh tùy biến với chi phí thấp: hỗ trợ tinh chỉnh bằng tự phát lại mã nguồn mở, học nhiệm vụ mới mà không quên năng lực cũ.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Điều phối chuyên gia dự đoán (LES): trọng số 65.6 GiB của mô hình MoE không thể được nạp toàn bộ vào bộ nhớ; phần lớn chuyên gia được lưu trên SSD và chỉ đọc khi cần. Tuy nhiên, việc định tuyến theo từng lớp phụ thuộc vào kết quả của lớp trước, khiến mỗi lớp phải dừng để chờ đọc dữ liệu. LES tận dụng đặc điểm đầu vào của các lớp liền kề có độ tương đồng cao, dự đoán trước các chuyên gia cần cho lớp tiếp theo dựa trên đặc trưng định tuyến của lớp hiện tại và tải trước ở chế độ nền; đồng thời ưu tiên tính toán các chuyên gia đã được tải và được bộ định tuyến thực tế chọn, qua đó vừa tính toán vừa đọc dữ liệu. Thử nghiệm thực tế cho thấy tốc độ tăng 5 lần mà đầu ra không bị suy giảm.
Tối ưu hóa lưu trữ và truy xuất trọng số: sử dụng lượng tử hóa độ chính xác hỗn hợp theo từng lớp để giảm dung lượng lưu trữ và lượng dữ liệu truyền tải; đồng thời tổ chức lại bố cục trọng số chuyên gia trong tệp, chuyển các tham số vốn nằm rải rác ở ba vị trí thành dạng lưu liên tục theo số hiệu, giúp SSD chỉ cần đọc tuần tự một lần để lấy đầy đủ chuyên gia, giảm đáng kể chi phí tải.
Nén token hình ảnh: dựa trên LLaVA-UHD v4 để nén token sớm bên trong bộ mã hóa hình ảnh, giảm lượng tính toán tiếp theo ngay từ đầu; hỗ trợ chuyển đổi giữa hai mức nén 4 lần/16 lần. Ở chế độ nén 16 lần, các chỉ số quan trọng gần như không suy giảm, cân bằng giữa chi tiết hình ảnh và tương tác theo thời gian thực.
Giải mã suy đoán DSpark: mô-đun dự thảo nhẹ tạo nhiều token ứng viên trong một lần, sau đó mô hình chính xác minh song song và xuất theo lô. Nhiều token cùng chia sẻ các chi phí cố định như đọc và điều phối chuyên gia MoE, giúp tốc độ tạo trung bình tăng 1.17 lần trong thử nghiệm thực tế mà không ảnh hưởng đến chất lượng.

Lấy mô hình: tải trọng số và mã nguồn mô hình từ GitHub và Hugging Face.
Trải nghiệm nhanh tại máy: truy cập Web Demo chính thức (MiniCPM-V-4.7-Demo) trên Hugging Face Spaces để dùng thử trực tuyến mà không cần cài đặt.
Cài đặt ứng dụng: truy cập kho MiniCPM-V-Apps trên GitHub để tải ứng dụng iOS/Android, sau đó cài đặt và sử dụng trực tiếp trên điện thoại hoặc máy tính bảng.
Chọn framework suy luận để triển khai: tùy theo nền tảng phần cứng, chọn một trong các framework llama.cpp, Ollama, MLX hoặc vLLM/SGLang để tải mô hình và triển khai dịch vụ suy luận cục bộ.
Bật tăng tốc LES (tùy chọn): khi chạy 35B-A3B trên thiết bị đầu cuối, bật điều phối chuyên gia dự đoán theo tài liệu mã nguồn mở để chạy mượt với 3GB bộ nhớ.
Chọn chế độ nén hình ảnh: chuyển đổi giữa chế độ nén 4 lần và 16 lần tùy theo nhu cầu.

Kho GitHub: https://github.com/OpenBMB/MiniCPM-V
Kho mô hình HuggingFace: https://huggingface.co/collections/openbmb/minicpm-v-47

MoE đầu cuối tiên phong toàn cầu: mô hình đa phương thức MoE mã nguồn mở đầu tiên trên thế giới có thể chạy mượt mà, không suy giảm chất lượng trên thiết bị đầu cuối.
Hiệu quả bộ nhớ vượt trội: mô hình 35B với trọng số 65.6 GiB chỉ cần khoảng 3GB bộ nhớ để chạy, bằng 1/4 bộ nhớ của thiết bị 16GB.
Dẫn đầu về tốc độ suy luận: iPhone 17 Pro Max đạt hơn 13 tokens/s trong thử nghiệm thực tế, iPad Pro M4 đạt hơn 17 tokens/s; công nghệ LES tăng tốc 5 lần.
Vượt trội toàn diện so với các mô hình cùng phân khúc: dẫn đầu Qwen3.6-35B-A3B trên 34 bài kiểm chuẩn uy tín, thậm chí vượt qua Qwen 27B và Gemma-4 31B có quy mô lớn hơn.
Tối ưu Pareto giữa hiệu năng và hiệu quả: đạt điểm tổng hợp cao hơn với thời gian suy luận ngắn hơn, thiết lập chuẩn mới cho biên hiệu năng và hiệu quả của mô hình đa phương thức đầu cuối.
Phổ cập với hai phiên bản: phiên bản flagship 35B nâng giới hạn năng lực, còn phiên bản 1B nhỏ gọn giúp các thiết bị phổ thông cũng chạy được mô hình đa phương thức chất lượng cao.

Văn phòng di động và xử lý tài liệu: chụp ảnh hoặc nhập PDF trực tiếp trên điện thoại/máy tính bảng để hoàn thành theo thời gian thực việc nhận diện văn bản, trích xuất bảng, hiểu biểu đồ và hỏi đáp tài liệu; không cần tải dữ liệu lên đám mây, vừa bảo vệ quyền riêng tư vừa nâng cao hiệu quả làm việc di động.
Hỗ trợ giáo dục ngoại tuyến: học sinh có thể chụp ảnh tìm lời giải, suy luận toán học và hỏi đáp khoa học trên thiết bị không có mạng; việc chạy mô hình 35B trên thiết bị đầu cuối giúp AI gia sư chất lượng cao tiếp cận các khu vực có điều kiện mạng kém.
Thị giác cho xe và robot: nhờ khả năng tương thích chip Day-0, mô hình có thể được triển khai trên hệ thống giải trí trên xe và thiết bị đầu cuối robot, thực hiện nhận diện môi trường, hiểu chướng ngại vật và tương tác thị giác người-máy theo thời gian thực.
Hiểu và kiểm duyệt nội dung video: khả năng hiểu video dài hỗ trợ tóm tắt nội dung, hỏi đáp về khung hình chính và kiểm duyệt tuân thủ đối với video dài được ghi trên thiết bị đầu cuối, phù hợp với các kịch bản như tuần tra an ninh và sáng tạo nội dung.