Microsoft đã ra thông báo vào ngày 28 tháng 7, cho biết người dùng có thể triển khai mô hình Kimi K3 của Moonshot AI trên Microsoft Foundry thông qua Fireworks AI.
Lưu ý: Microsoft Foundry là nền tảng phát triển ứng dụng AI và tác nhân (Agent) cấp doanh nghiệp theo mô hình một cửa do Microsoft ra mắt. Nền tảng này tích hợp thống nhất quản lý mô hình, xây dựng tác nhân, quản trị bảo mật và khả năng quan sát trong một kiến trúc cloud-native duy nhất, nhằm giúp nhà phát triển và doanh nghiệp xây dựng, vận hành và mở rộng ứng dụng AI tạo sinh ở quy mô lớn.
Còn Fireworks AI là nền tảng dịch vụ đám mây, tập trung vào suy luận và tinh chỉnh AI tạo sinh với tốc độ cực cao cùng hiệu quả chi phí vượt trội. Nền tảng này được thành lập năm 2022 bởi các thành viên cốt cán cũ của đội ngũ PyTorch tại Meta (CEO 林徹 từng là người đứng đầu PyTorch toàn cầu), có trụ sở tại California, Hoa Kỳ.
Microsoft chính thức cho biết người dùng có thể triển khai mô hình Kimi K3 trên Microsoft Foundry thông qua Fireworks AI. Mô hình này có 2,8 nghìn tỷ tham số, hiện là một trong những mô hình mở lớn nhất.
Cửa sổ ngữ cảnh của mô hình là 1 triệu Token, nghĩa là một yêu cầu duy nhất có thể xử lý khoảng 750.000 từ (tương đương khoảng 10 cuốn tiểu thuyết hoàn chỉnh hoặc một kho mã nguồn đầy đủ).
Tên mô hình
Loại triển khai
Mỗi 1 triệu Token đầu vào
Mỗi 1 triệu Token đầu ra
Mỗi 1 triệu Token đầu vào bộ nhớ đệm
FW Kimi K3
Data Zone
3.30 USD (tỷ giá hiện tại khoảng 22.4 nhân dân tệ)
16.50 USD (tỷ giá hiện tại khoảng 111.8 nhân dân tệ)
0.33 USD (tỷ giá hiện tại khoảng 2.2 nhân dân tệ)