Thinking Machines Lab hôm qua (30 tháng 7) đăng bài viết công bố mô hình Inkling-Small, với hiệu năng tương đương Inkling nhưng quy mô giảm xuống còn khoảng một phần tư.
Inkling được mệnh danh là “mô hình AI mã nguồn mở mạnh nhất Mỹ”, sử dụng kiến trúc hỗn hợp chuyên gia (MoE), có tổng cộng 975B tham số, 41B tham số được kích hoạt và hỗ trợ ngữ cảnh tối đa 1M token.
Mô hình Inkling-Small ra mắt lần này cũng sử dụng kiến trúc hỗn hợp chuyên gia (MoE), với tổng cộng 276B tham số và 12B tham số được kích hoạt, quy mô khoảng 1/4 Inkling, đồng thời được huấn luyện trên hệ thống NVIDIA GB300 NVL72.
Giống Inkling, Inkling-Small hỗ trợ suy luận gốc trên âm thanh và hình ảnh, cường độ suy nghĩ thay đổi, cửa sổ ngữ cảnh tối đa 1M token, đồng thời duy trì hiệu suất tương đối cân bằng trong nhiều bài kiểm tra chuẩn.
Thinking Machines đã mở toàn bộ trọng số của Inkling-Small, đồng thời tích hợp mô hình này vào dịch vụ tinh chỉnh Tinker và cung cấp trải nghiệm trò chuyện bằng văn bản, hình ảnh và âm thanh trên Tinker Playground.
Thinking Machines cho biết Inkling-Small đạt hiệu năng gần tương đương Inkling với lượng tính toán thấp hơn. Trong các bài kiểm tra về sử dụng công cụ tác tử, suy luận và tuân thủ chỉ dẫn, Inkling-Small có hiệu suất cao hơn Inkling và có thể cạnh tranh với các mô hình khác cùng cấp độ trọng số.
Trong các tác vụ suy luận và tác vụ tác tử, Inkling-Small tương đương hoặc vượt Inkling. Trong bài kiểm tra Humanity’s Last Exam, Inkling-Small đạt 31.6%, cao hơn mức 29.7% của Inkling. Thinking Machines cho biết ở mọi mức ngân sách suy nghĩ, đường cong tính toán khi kiểm thử của Inkling-Small đều cao hơn Inkling.
