MiniCPM5-2B Đang hoạt động

MiniCPM5-2B là mô hình ngôn ngữ nền tảng chạy trên thiết bị đầu cuối do 面壁智能, cộng đồng OpenBMB và Đại học Thanh Hoa cùng phát hành mã nguồn mở. Mô hình có khoảng 2,5 tỷ tham số, hỗ trợ ngữ cảnh 128K, đạt điểm trung bình 53.9 trên 34 benchmark, vượt qua hàng loạt mô hình cấp 4B và đạt SOTA mã nguồn mở cấp 2B. Mô hình tích hợp các khả năng Agent như gọi công cụ, tìm kiếm chuyên sâu và tạo mã vào thiết bị đầu cuối, có thể chạy trên thiết bị với 6GB bộ nhớ; đồng thời mở mã nguồn dữ liệu huấn luyện, framework RL Meshy và thuật toán JustRL II, xứng đáng được ví như “pháo mini” trên thiết bị đầu cuối.

Hỏi đáp hội thoại trên thiết bị: Chạy trực tiếp mô hình ngôn ngữ trên thiết bị cục bộ để thực hiện các tác vụ hỏi đáp hằng ngày, viết, tóm tắt... Dữ liệu không cần tải lên đám mây.
Hiểu văn bản dài: Hỗ trợ ngữ cảnh 128K, có thể xử lý cục bộ biên bản cuộc họp, hợp đồng và tài liệu dài, đồng thời trích xuất chính xác thông tin quan trọng.
Tạo và sửa mã: Từ hoàn thiện mã đến sửa lỗi ở cấp kho mã thực tế (SWE-bench Verified 46.4), có thể đóng vai trò trợ lý lập trình cục bộ.
Gọi công cụ: Hỗ trợ gọi hàm nguyên bản, có thể gọi các công cụ bên ngoài khi cần để thực hiện tra cứu, tính toán, tương tác với cơ sở dữ liệu và các thao tác khác.
Tìm kiếm chuyên sâu: Có khả năng hoạt động như Search Agent, tự lập kế hoạch truy xuất nhiều bước và tổng hợp câu trả lời.
Suy luận kết hợp: Chuyển đổi giữa chế độ trả lời nhanh và suy nghĩ chuyên sâu thông qua công tắc enable_thinking, cân bằng hiệu quả và khả năng giải quyết bài toán khó.
Tác vụ hàng loạt cục bộ: Các tác vụ nhạy cảm về quyền riêng tư như sàng lọc hồ sơ, chấm bài thi và phân tích hợp đồng có thể được xử lý song song với chi phí thấp ngay trên thiết bị.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc Dense Transformer tiêu chuẩn: Mô hình sử dụng cấu trúc LlamaForCausalLM tiêu chuẩn gồm 42 lớp, dùng GQA để giảm chi phí KV Cache và hỗ trợ nguyên bản ngữ cảnh 131,072 token. Do kiến trúc hoàn toàn tiêu chuẩn, các framework phổ biến như vLLM, llama.cpp và Ollama có thể tải mô hình nguyên bản mà không cần kernel tùy chỉnh.
Bồi dưỡng năng lực Agent toàn chuỗi: Năng lực Agent được định hướng ngay từ giai đoạn tiền huấn luyện. Trước tiên, 200B quy mô Agent Midtraining được dùng để đưa vào mô hình các tiên nghiệm về phân rã nhiệm vụ và sử dụng công cụ; tiếp đó, 500 nghìn quỹ đạo SFT bao phủ các kịch bản như gọi công cụ, tìm kiếm web và Code Agent được dùng để dạy mô hình thực thi đúng quy chuẩn; cuối cùng, Agent RL bảo đảm chiến lược ổn định trong tương tác nhiều lượt, hình thành chuỗi năng lực hoàn chỉnh “chạy được và hữu dụng”.
Framework học tăng cường Meshy: Meshy loại bỏ bộ điều khiển trung tâm và phụ thuộc Ray trong huấn luyện RL truyền thống, mô hình hóa toàn bộ quá trình huấn luyện, suy luận và tính phần thưởng thành các dịch vụ nút ngang hàng. Luồng điều khiển thực tế được điều khiển bởi trạng thái sẵn sàng dữ liệu trong TransferQueue, cho phép chuyển đổi linh hoạt giữa ba chế độ đồng bộ, bất đồng bộ và hoàn toàn bất đồng bộ, giúp huấn luyện RL quy mô lớn dễ mở rộng hơn và triển khai nhẹ hơn.
Thuật toán học phần thưởng JustRL II: Nhằm giải quyết hai vấn đề chính trong RL chuỗi suy nghĩ dài của mô hình chạy trên thiết bị là “tín hiệu phần thưởng làm chệch hướng mô hình” và “phân bổ tín dụng thô của GRPO”, JustRL II sử dụng quy trình ba giai đoạn ở phía dữ liệu để hiệu chỉnh mẫu huấn luyện, đồng thời đưa Critic vào GRPO ở phía thuật toán để thực hiện phân bổ tín dụng theo từng token, phân biệt chính xác đóng góp của từng bước trong chuỗi suy luận dài.
Tinh lọc dữ liệu bằng lệnh gọi hàm UltraX: UltraX loại bỏ cách làm truyền thống là dùng mô hình lớn viết lại văn bản web theo hướng đầu-cuối, thay vào đó huấn luyện một mô hình nhẹ 0.6B để dự đoán các thao tác chỉnh sửa có cấu trúc, sau đó bộ thực thi tất định áp dụng từng dòng. Cách này vừa tránh trôi ngữ nghĩa và phá vỡ cấu trúc do viết lại, vừa cho phép lưu trữ và kiểm toán các thao tác chỉnh sửa để truy xuất toàn bộ quá trình. Thực nghiệm cho thấy hiệu quả huấn luyện của 16B token ngữ liệu tinh lọc đã vượt hiệu quả huấn luyện đầy đủ trên 20B token ngữ liệu gốc.
Hệ thống quản trị dữ liệu phân cấp UltraData: Dữ liệu mã được quản trị theo các cấp độ L0–L3; dữ liệu RL trải qua quy trình ba giai đoạn để loại bỏ các mẫu không thể xác minh, có phần thưởng không đáng tin cậy hoặc độ khó không phù hợp. Tín hiệu dữ liệu chất lượng cao bù đắp nhược điểm về dung lượng của mô hình nhỏ, đây là nền tảng kỹ thuật then chốt giúp năng lực vượt qua mô hình 4B với số lượng tham số nhỏ hơn.

Xác nhận điều kiện phần cứng: Trọng số BF16 nguyên bản có dung lượng khoảng 4.7GiB; hoặc sử dụng bản lượng tử hóa GGUF khoảng 1.2GB để chạy trên điện thoại và máy tính xách tay thông thường có 6GB bộ nhớ.
Lấy trọng số mô hình: Tải phiên bản cần thiết từ HuggingFace hoặc cộng đồng ModelScope, tùy nhu cầu chọn định dạng BF16 / GGUF / MLX / GPTQ / SFT.
Cài đặt framework suy luận: Dùng vLLM cho môi trường đám mây hoặc tải đồng thời cao (≥0.21.0 hỗ trợ nguyên bản, chỉ cần TP=1 trên một GPU); dùng llama.cpp, Ollama hoặc SGLang để triển khai cục bộ nhẹ; trong môi trường CPU có thể dùng framework Arclight do 面壁智能 tự phát triển.
Tải và chạy mô hình: Tải trực tiếp theo kiến trúc Llama tiêu chuẩn, không cần kernel tùy chỉnh.
Chuyển chế độ suy nghĩ: Điều khiển chế độ trả lời nhanh hoặc suy luận chuyên sâu bằng công tắc enable_thinking trong chat template, chọn chế độ theo độ khó của nhiệm vụ.
Tích hợp gọi công cụ/Agent: Tận dụng khả năng gọi hàm và tìm kiếm chuyên sâu nguyên bản của mô hình, kết hợp Cookbook triển khai và Agent Skills đi kèm để xây dựng quy trình Agent cục bộ.

SOTA mã nguồn mở cấp 2B: Điểm trung bình 53.9 trên 34 benchmark, vượt qua tất cả mô hình cấp 4B tham gia đánh giá, chứng minh hiệu quả của mô hình nhỏ.
Nền tảng Agent đa dụng trên thiết bị: Tích hợp nguyên bản các năng lực cốt lõi của tác tử như gọi công cụ, tìm kiếm chuyên sâu và tạo mã; đứng đầu bảng xếp hạng Agent với 20 điểm, vượt Granite 4.2 8B, Qwen3.5 9B và các mô hình lớn hơn khác.
Dễ triển khai tối đa: Kiến trúc Llama tiêu chuẩn cùng nhiều định dạng phát hành, vLLM, Ollama và llama.cpp có thể tải trực tiếp không cần cải biến; bản INT4 chỉ 1.2GB và có thể chạy trên thiết bị với 6GB bộ nhớ.
Ngữ cảnh dài 128K nguyên bản: Ngữ cảnh 130 nghìn token cung cấp nền tảng để xử lý cục bộ các tài liệu dài như biên bản cuộc họp và hợp đồng trên thiết bị.
Mã nguồn mở toàn chuỗi: Không chỉ mở trọng số mà còn công khai dữ liệu huấn luyện (dòng UltraData), framework RL (Meshy), thuật toán RL (JustRL II) và Recipe huấn luyện, cho phép tái tạo đầy đủ và đổi mới thứ cấp.
Suy luận hiệu quả: Trung bình khoảng 21K output token cho mỗi tác vụ, mức tiêu thụ token thấp hơn các mô hình cùng cấp, giúp chạy trên thiết bị nhanh hơn và tiết kiệm điện hơn.
Hệ sinh thái chip rộng: Hỗ trợ Day0 cho 9 dòng chip trong nước thuộc AMD, Intel, MediaTek, Qualcomm, Ascend, Hygon, Kunlunxin, Moore Threads và các hãng khác.

Kho GitHub: https://github.com/OpenBMB/MiniCPM
Kho mô hình HuggingFace: https://huggingface.co/collections/openbmb/minicpm5

Xử lý tài liệu nhạy cảm về quyền riêng tư: Hỏi đáp và tóm tắt biên bản cuộc họp, hợp đồng và email nội bộ ngay trên thiết bị, dữ liệu không rời khỏi thiết bị trong toàn bộ quá trình.
Tuyển dụng và nhân sự: Sàng lọc hàng loạt hồ sơ cục bộ, trích xuất thông tin ứng viên và đối chiếu có cấu trúc, tránh tải hồ sơ lên đám mây.
Trợ lý lập trình trên thiết bị: Hoàn thiện mã, đưa ra gợi ý gỡ lỗi và thậm chí sửa lỗi cấp kho mã khi ngoại tuyến, bảo đảm an toàn cho tài sản mã nguồn.
Tìm kiếm chuyên sâu cục bộ: Tự động lập kế hoạch truy vấn web nhiều bước và tổng hợp câu trả lời, phù hợp cho nghiên cứu, so sánh giá và thu thập thông tin.
Giáo dục và chấm bài: Chấm bài thi, nhận xét bài tập và phân tích câu sai theo lô, song song ngay trên thiết bị, giúp giảm chi phí cho trường học và đơn vị đào tạo.