Ant Group Bailing hôm nay đã mã nguồn mở mô hình Ling-3.0-tiny trên nền tảng Hugging Face. Đây là mô hình có kiến trúc MoE suy luận lai nhẹ, tổng cộng 7.9B tham số và kích hoạt 1.3B tham số trên mỗi Token. Nhà phát triển cung cấp các phiên bản trọng số BF16, FP8 và INT4 để đáp ứng nhu cầu triển khai trên nhiều nền tảng.
Theo giới thiệu, Ling-3.0-tiny hướng đến suy luận chi phí thấp, sử dụng kiến trúc tuyến tính lai hiệu quả, xếp xen kẽ KDA (Kimi Delta Attention) và MLA (Multi-Head Latent Attention, chú ý tiềm ẩn đa đầu) theo tỷ lệ 3:1. Mô hình sử dụng mạng FFN MoE thưa gồm 128 chuyên gia định tuyến (routed experts), đạt được sự cân bằng giữa khả năng xử lý ngữ cảnh và chi phí tính toán.
Mô hình hỗ trợ chế độ phản hồi nhanh và chế độ suy luận nhiều bước, được thiết kế riêng cho triển khai cục bộ. Nhà phát triển đã xác minh mô hình trên các máy tính như NVIDIA DGX Spark, MacBook Apple Silicon và Mac mini. Trên MacBook dùng M4 Pro, tốc độ suy luận có thể đạt khoảng 86-90 Token/s; với độ dài ngữ cảnh 8K, mức sử dụng bộ nhớ đỉnh khoảng 8.34 GiB.
Tham khảo:
inclusionAI/Ling-3.0-tiny · Hugging Face