Token Spark trực thuộc iFlytek hôm nay công bố ra mắt và mã nguồn mở hai mô hình lớn đa dụng cho thiết bị đầu cuối là Spark X2.5-4B và Spark X2.5-1.7B.
Theo giới thiệu, cả hai mô hình đều hỗ trợ nguyên bản cửa sổ ngữ cảnh dài tối đa 1 triệu Token, là sản phẩm duy nhất trong các mô hình cho thiết bị đầu cuối hiện nay hỗ trợ ngữ cảnh ở quy mô này.
Hai mô hình sử dụng kiến trúc chú ý hỗn hợp, được tối ưu hóa xoay quanh các năng lực cốt lõi như tác tử thông minh, mã nguồn, toán học và tuân thủ chỉ lệnh. Toàn bộ quy trình huấn luyện được thực hiện trên nền tảng năng lực tính toán nội địa, với khoảng 20 nghìn tỷ Token dữ liệu đa dạng dùng cho giai đoạn tiền huấn luyện.
Lấy tình huống hậu mãi sản phẩm làm ví dụ, người dùng có thể nhập toàn bộ sổ tay hậu mãi vào mô hình. Với các vấn đề phức tạp như “thiết bị gặp lỗi sau 10 ngày kể từ khi mua và đã sử dụng vật tư tiêu hao của bên thứ ba”, mô hình có thể liên kết các quy định ở nhiều chương để đưa ra nhận định tổng hợp, đồng thời duy trì bối cảnh trước đó và liên tục đưa ra đề xuất khi có điều kiện mới.
Trong môi trường làm việc cá nhân, Spark X2.5-4B có thể hoàn thành toàn bộ quy trình từ phân tích dữ liệu thô đến bàn giao báo cáo song ngữ. Trên bộ kiểm thử nhà thông minh Domux, tỷ lệ thực thi chính xác đầu cuối của lệnh điều khiển Spark X2.5-1.7B đạt 90.3%, với thời gian phản hồi trung bình 0.85 giây. Mô hình cũng phù hợp với các tình huống như điều khiển thao tác robot, theo dõi mục tiêu và ra quyết định điều hướng, có thể triển khai trên thân robot hoặc thiết bị biên.
Spark X2.5-4B và 1.7B hỗ trợ các nền tảng phần cứng của NVIDIA, Huawei, Hygon và MetaX, tương thích với các framework suy luận phổ biến như vLLM, SGLang, llama.cpp, đồng thời có thể triển khai nhanh qua các công cụ như Ollama và LM Studio. Kể từ hôm nay, trọng số mô hình đã được mở để tải xuống trên các nền tảng như Hugging Face và GitHub; API tương ứng cũng đã có mặt trên nền tảng iFlytek Spark MaaS và được miễn phí trong thời gian giới hạn.
Vào ngày 7 tháng 9, iFlytek cũng sẽ chính thức phát hành mô hình lớn đa dụng Spark X2.5-293B, tiếp tục nâng cấp các năng lực cốt lõi như mã nguồn và tác tử thông minh. IT之家 sẽ mang đến cho độc giả bài đưa tin chi tiết vào thời điểm đó.
Tài liệu tham khảo:
Địa chỉ Hugging Face: https://huggingface.co/collections/XHToken/spark-x25
Địa chỉ Github: https://github.com/XHToken/Spark-X2.5
Kết nối nền tảng iFlytek Spark MaaS: https://maas.xfyun.cn/modelSquare