LFM2.5-24B-A2B Đang hoạt động

LFM2.5-24B-A2B là mô hình suy luận với trọng số mở do Liquid AI phát triển, thuộc dòng flagship LFM2.5. Mô hình có tổng 24B tham số, chỉ kích hoạt 2.45B cho mỗi token, kiến trúc MoE 40 lớp, hỗ trợ ngữ cảnh 131K và 16 ngôn ngữ. Trước khi trả lời, LFM2.5-24B-A2B luôn tạo chuỗi suy luận, được tối ưu riêng cho Agent trên thiết bị. Mô hình đạt 48.09 điểm trên LiveClaw, vượt Qwen3.6-35B-A3B có số tham số lớn hơn 50%; tốc độ giải mã trên M5 Max đạt 184 tok/s, nhanh gấp 1.7 lần MoE cùng loại. Phù hợp với các tình huống suy luận và gọi công cụ khi triển khai cục bộ, riêng tư; với các tác vụ giàu kiến thức, nên kết hợp truy xuất thông tin.

Suy luận Agent trên thiết bị: Được thiết kế riêng cho các tác tử nhanh và riêng tư chạy cục bộ trên thiết bị cá nhân.
Chế độ suy luận thuần túy: Tự động tạo chuỗi suy luận rõ ràng trước khi trả lời, đổi chi phí kích hoạt thấp lấy chất lượng câu trả lời.
Gọi hàm: Hỗ trợ nguyên bản quy trình gọi công cụ bốn bước, có thể kết nối trực tiếp với các framework như OpenClaw, Hermes Agent, Pi và OpenCode.
Triển khai đa định dạng: Cung cấp các phiên bản native, FP8, GGUF, ONNX và MLX-4bit, hỗ trợ GPU, CPU, Apple Silicon và thiết bị biên.
Xử lý ngữ cảnh dài: Hỗ trợ ngữ cảnh 131,072 tokens, có thể xử lý tài liệu dài và các quỹ đạo Agent nhiều lượt.
Năng lực đa ngôn ngữ: Hỗ trợ 16 ngôn ngữ gồm tiếng Anh, tiếng Trung, tiếng Nhật, tiếng Hàn và tiếng Ả Rập; tối ưu từ vựng 128K cho việc token hóa các ngôn ngữ phi Latinh.
Suy luận nhanh: Đạt 184 tok/s trên Apple M5 Max, nhanh hơn tối đa 1.7 lần so với MoE cùng loại, và vượt 21K tok/s trên một GPU B300.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc kích hoạt thưa MoE: Mô hình có tổng cộng 24B tham số, nhưng mỗi khối MoE gồm 64 chuyên gia. Khi suy luận, cơ chế định tuyến top-4 chỉ kích hoạt 4 chuyên gia, khiến lượng tính toán thực tế cho mỗi token chỉ tương đương 2.45B tham số. Đây là cốt lõi của nguyên lý “dung lượng lớn, chi phí tính toán thấp”: mô hình lưu trữ toàn bộ kiến thức, nhưng mỗi lần lan truyền chỉ sử dụng một phần nhỏ, nhờ đó chi phí suy luận thấp hơn nhiều so với mô hình có cùng tổng số tham số.
Thiết kế lớp kết hợp: Mạng 40 lớp gồm tích chập + GQA được cấu thành từ 30 “khối tích chập ngắn hai cổng” và 10 lớp GQA kết hợp. Tích chập ngắn chịu trách nhiệm trích xuất hiệu quả các đặc trưng chuỗi cục bộ, còn lớp attention đảm nhiệm mô hình hóa phụ thuộc dài hạn. Việc xen kẽ hai loại lớp giúp mô hình duy trì khả năng tính toán hiệu quả của các lớp tuyến tính mà vẫn hỗ trợ ngữ cảnh dài; đây cũng là nền tảng cấu trúc giúp kiến trúc LFM có tốc độ cao và tiết kiệm bộ nhớ trên thiết bị biên.
Mở rộng từ vựng tại chỗ và huấn luyện ngữ cảnh dài: Trên cơ sở giữ nguyên kiến trúc chính của LFM2-24B-A2B thế hệ trước, tokenizer được mở rộng tại chỗ, tăng từ vựng từ 65K lên 128K, cải thiện đáng kể hiệu quả token hóa tiếng Trung, tiếng Nhật và các ngôn ngữ phi Latinh khác. Cửa sổ ngữ cảnh được mở rộng từ 32K lên 131K, kết hợp với 300B tokens huấn luyện giữa kỳ chuyên biệt cho ngữ cảnh dài, giúp mô hình có khả năng xử lý chuỗi dài ổn định.
Quy trình huấn luyện ba giai đoạn: Giai đoạn tiền huấn luyện sử dụng khoảng 33T tokens; huấn luyện giữa kỳ trước tiên dùng 2T tokens dữ liệu chất lượng cao trong ngữ cảnh 32K để tăng cường năng lực suy luận, toán học, lập trình và tuân thủ chỉ dẫn, sau đó dùng 300B tokens trong ngữ cảnh 131K để tập trung vào văn bản dài. Cả hai giai đoạn đều bổ sung dữ liệu gọi công cụ và tương tác nhiều lượt. Hậu huấn luyện sử dụng quy trình năm giai đoạn gồm SFT → chuyên môn hóa giáo viên → chưng cất đa miền, cùng chính sách qua hai vòng cho Agent và non-Agent → học tăng cường trong các framework tác tử thực tế như OpenClaw và Hermes, giúp mô hình thực sự học được cách “suy nghĩ - gọi công cụ - xác minh” trong môi trường công cụ thực.

Lấy mô hình: Tải LiquidAI/LFM2.5-24B-A2B từ Hugging Face, chọn phiên bản native BF16, FP8, GGUF, ONNX hoặc MLX-4bit tùy phần cứng.
Cài đặt môi trường: Đảm bảo môi trường Python đã cài transformers>=5.0.0, hoặc triển khai các framework suy luận như vLLM, SGLang, llama.cpp và LM Studio.
Nạp mô hình: Dùng AutoModelForCausalLM.from_pretrained() để nạp mô hình với độ chính xác bfloat16.
Tạo prompt: Dùng tokenizer.apply_chat_template() để tự động áp dụng và định dạng hội thoại theo mẫu ChatML.
Thiết lập tham số: Khi tạo văn bản, sử dụng các tham số được khuyến nghị chính thức là temperature=0.1, top_k=50 và repetition_penalty=1.05; với tác vụ chuỗi suy luận, có thể đặt max_new_tokens từ 4096 trở lên.
Cấu hình gọi công cụ: Ghi danh sách công cụ dưới dạng JSON vào system prompt. Mô hình sẽ dùng thẻ <|tool_call_start|> để xuất lệnh gọi hàm; sau khi thực thi, trả kết quả với vai trò tool.
Kết nối framework Agent: Khởi chạy dịch vụ cục bộ qua giao diện tương thích OpenAI, sau đó kết nối với các framework tác tử như OpenClaw, Hermes Agent, Pi hoặc OpenCode.

Hiệu suất tối ưu: Tổng 24B tham số nhưng chỉ kích hoạt 2.45B, đạt 184 tok/s trên Apple M5 Max, nhanh hơn MoE cùng loại tối đa 1.7 lần và tiêu thụ ít bộ nhớ nhất.
Lấy nhỏ thắng lớn: Đạt ngang bằng Qwen3.6-35B-A3B có nhiều hơn 50% tham số trên các benchmark Agent và công cụ; LiveClaw đạt 48.09 so với 38.19, còn AutomationBench vượt vị trí thứ hai 3 lần.
Suy luận toàn trình: Mô hình chuỗi suy luận thuần túy suy nghĩ trước khi trả lời, đồng thời chi phí thấp cho mỗi token suy luận nhờ mức kích hoạt thấp.
Năng lực Agent nguyên bản: Ngay khi ra mắt, mô hình đã được huấn luyện Agentic RL trong các framework phổ biến như OpenClaw, Hermes, Pi và OpenCode; gọi công cụ có thể sử dụng ngay.
Mở và không hạn chế: Cả mô hình nền tảng lẫn mô hình hậu huấn luyện đều cung cấp trọng số mở, cho phép tự do tải xuống, tinh chỉnh và sử dụng thương mại.
Hỗ trợ toàn nền tảng: Hỗ trợ nguyên bản llama.cpp, MLX, vLLM, SGLang và ONNX, tương thích với phần cứng Apple, AMD, Qualcomm và NVIDIA.

Kho mô hình Hugging Face: https://huggingface.co/LiquidAI/LFM2.5-24B-A2B

Agent riêng tư trên thiết bị: Chạy tác tử cục bộ cả ngày trên các thiết bị cá nhân như MacBook để lập kế hoạch, gọi công cụ và thực hiện nhiệm vụ, với dữ liệu không rời khỏi thiết bị.
Trợ lý ngoại tuyến/biên: Triển khai dưới dạng GGUF, ONNX hoặc MLX trong môi trường mạng không ổn định hoặc không có mạng như phương tiện, vùng ngoài trời và thiết bị đầu cuối nhúng, cung cấp khả năng suy luận ngoại tuyến.
Điều phối công cụ thông minh: Làm mô hình điều khiển cho các framework như OpenClaw, Hermes Agent và OpenCode, thực hiện các quy trình nhiều bước như tạo bản tin định kỳ, sắp xếp tệp và thao tác mã nguồn.
Tự động hóa quy trình nghiệp vụ: Tận dụng ưu thế trên ToolSandbox và τ³-Bench Banking để xử lý các cuộc hội thoại nghiệp vụ trong ngân hàng, tuyển dụng, đơn hàng và những lĩnh vực cần tra cứu hệ thống rồi xác nhận qua nhiều lượt.