Muse Glimmer – Mô hình ngôn ngữ lớn 30 tỷ tham số mã nguồn mở của Meta Đang hoạt động

Muse Glimmer là mô hình ngôn ngữ lớn 30 tỷ tham số mã nguồn mở của Meta, được tối ưu chuyên sâu cho các quy trình Agent chạy cục bộ liên tục cả ngày. Nhờ công nghệ lượng tử hóa 4bit, mô hình có thể chạy mượt trên GPU đơn có 24GB VRAM hoặc Apple Silicon, với mức suy giảm hiệu năng suy luận không đáng kể. Thực nghiệm cho thấy mô hình có thể đảm nhiệm hội thoại thời gian thực và tương tác với tác tử trên nền tảng RTX 5090, M4/M5 Max. Kết hợp với công nghệ giải mã suy đoán DFlash, mô hình đạt tốc độ cao hơn tối đa 3,1 lần và dẫn đầu các đối thủ cùng quy mô trong nhiều bài đánh giá như MCP Atlas và SWE-Bench Pro.

Suy luận Agent cục bộ: Hỗ trợ chạy nền liên tục cả ngày, được tối ưu chuyên sâu cho quy trình tác tử và có thể điều phối các tác vụ phức tạp mà không cần kết nối mạng.
Triển khai hiệu quả với VRAM thấp: Ứng dụng công nghệ lượng tử hóa 4bit, cho phép mô hình 30B tham số chạy cục bộ trên GPU đơn có 24GB VRAM hoặc máy Mac có 32GB bộ nhớ hợp nhất.
Hội thoại tương tác thời gian thực: Mang đến hội thoại mượt mà và phản hồi Agent theo thời gian thực trên M4 Max, M5 Max và PC cao cấp, đáp ứng các kịch bản yêu cầu độ trễ thấp.
Đa phương thức và gọi công cụ: Hỗ trợ các bài đánh giá tác tử như MCP Atlas, đồng thời có khả năng sử dụng công cụ, tạo mã và suy luận nhiều bước.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc và quy mô mô hình: Muse Glimmer dựa trên kiến trúc Transformer, có tổng cộng 30 tỷ tham số. Thông qua hậu huấn luyện và tinh chỉnh theo chỉ dẫn cho các tác vụ Agentic, mô hình được tăng cường khả năng gọi công cụ, tạo mã và suy luận nhiều bước.
Nén lượng tử hóa 4bit: Áp dụng công nghệ lượng tử hóa bit thấp để giảm đáng kể kích thước mô hình, cho phép mô hình 30B tham số chạy cục bộ trên GPU đơn có 24GB VRAM hoặc máy Mac có 32GB bộ nhớ hợp nhất, trong khi thực nghiệm cho thấy hiệu năng trên các tác vụ tác tử hầu như không suy giảm.
Giải mã suy đoán DFlash: Tích hợp cơ chế giải mã suy đoán, sử dụng mô hình nháp để nhanh chóng tạo các token ứng viên và để mô hình chính xác minh song song. Trên RTX 5090, tốc độ được tăng tối đa 3,1 lần, đạt 233 tok/s.
Khung suy luận đa nền tảng: Sử dụng ExecuTorch để tương thích với Apple Silicon và llama.cpp cho GPU NVIDIA, đảm bảo trải nghiệm suy luận cục bộ nhất quán và hiệu quả trên các nền tảng phần cứng khác nhau.

Chuẩn bị môi trường: Đảm bảo thiết bị cục bộ có GPU NVIDIA với hơn 24GB VRAM hoặc máy Mac Apple Silicon có 32GB bộ nhớ hợp nhất (ưu tiên M4/M5 Max).
Tải trọng số: Truy cập kho Hugging Face meta-models/Muse-Glimmer-30B để tải tệp mô hình lượng tử hóa 4bit và các tệp cấu hình.
Chọn framework: Người dùng NVIDIA tải mô hình bằng llama.cpp; người dùng Apple Silicon chạy mô hình qua ExecuTorch để đạt hiệu năng tốt nhất.
Khởi chạy suy luận: Sử dụng UI suy luận cục bộ tương thích để tải mô hình, đồng thời bật giải mã suy đoán DFlash nhằm đạt tốc độ suy luận cao nhất.
Tích hợp vào quy trình Agent: Kết nối mô hình với cơ sở tri thức cá nhân, kho mã và chuỗi công cụ thông qua giao thức MCP hoặc API cục bộ, từ đó tự động xử lý các tác vụ chạy nền liên tục.

Hiệu năng cục bộ vượt trội: Sau khi lượng tử hóa 4bit, hiệu năng hầu như không suy giảm; mô hình vượt trội đáng kể Gemma4-31B và Qwen3.6-27B trong các tác vụ như SWE-Bench Pro và DeepSearch QA.
Yêu cầu phần cứng dễ tiếp cận: Phá bỏ rào cản VRAM trong triển khai mô hình lớn cục bộ; 24GB VRAM có thể chạy mô hình 30B tham số, giúp giảm chi phí sử dụng cho nhà phát triển cá nhân và doanh nghiệp vừa và nhỏ.
Tốc độ suy luận tăng vọt: Tích hợp giải mã suy đoán DFlash, nâng tốc độ giải mã trên RTX 5090 từ 74.9 tok/s lên 233 tok/s, đạt mức tăng tốc 3,1 lần.
An toàn và khả kiểm soát: 100% tính toán cục bộ, dữ liệu không rời khỏi thiết bị. Trong bài kiểm tra an toàn Siren AgentDojo, tỷ lệ tấn công thành công thấp hơn các đối thủ, cân bằng giữa hiệu năng và quyền riêng tư.

Kho mô hình HuggingFace: https://huggingface.co/meta-models/Muse-Glimmer-30B

Trợ lý AI cục bộ: Đóng vai trò là tác tử cá nhân chạy nền liên tục, xử lý các tác vụ hằng ngày như quản lý lịch, soạn email và rà soát mã mà không phụ thuộc vào API đám mây.
Ngành nhạy cảm về quyền riêng tư: Phù hợp với các lĩnh vực như y tế, tài chính và pháp lý, nơi có yêu cầu rất cao về tuân thủ dữ liệu, đảm bảo dữ liệu cốt lõi 100% được giữ trên thiết bị cục bộ.
Chuỗi công cụ dành cho nhà phát triển: Tích hợp vào IDE hoặc terminal để cung cấp tính năng hoàn thiện mã ngoại tuyến, tạo kiểm thử tự động và hiểu mã ở cấp độ kho, hỗ trợ các tác vụ kỹ thuật phần mềm cấp SWE-Bench.
Triển khai trên thiết bị biên: Chạy trên workstation hoặc máy Mac hiệu năng cao được trang bị VRAM từ 24GB trở lên, mang đến năng lực AI cấp doanh nghiệp với chi phí thấp cho các nhóm vừa và nhỏ.