Moore Threads chính thức phát hành “Sách trắng công nghệ MTT S5000 Prefill-as-a-Service”, công bố mô hình mới “Prefill As a Service” được xây dựng trên card máy tính AI tích hợp huấn luyện và suy luận hàng đầu MTT S5000, hướng đến các kịch bản suy luận ngữ cảnh dài như AI Agent, tạo mã và phân tích tài liệu siêu dài, cung cấp cho ngành một hướng triển khai khả thi, cân bằng giữa hiệu quả suy luận, kiểm soát chi phí và khả năng thương mại hóa năng lực tính toán.
Theo Moore Threads, khi quy mô ngữ cảnh đầu vào của các mô hình lớn nhanh chóng tăng lên mức hàng trăm K đến 1M, mức tiêu thụ năng lực tính toán và áp lực về độ trễ ký tự đầu tiên do đầu vào văn bản dài mang lại không ngừng gia tăng, ngày càng trở thành nút thắt quan trọng cản trở hiệu quả dịch vụ suy luận và tổng chi phí sở hữu (TCO) của doanh nghiệp. Mô hình triển khai năng lực tính toán trên các cụm đồng nhất truyền thống đã khó đáp ứng nhu cầu khác biệt về tài nguyên phần cứng ở các giai đoạn tính toán khác nhau.
Nỗi đau cốt lõi nằm ở sự không tương thích mang tính cấu trúc: trong suy luận trực tuyến của mô hình lớn, giai đoạn đầu vào Prefill (tiền nạp) là tác vụ tính toán chuyên sâu, bị giới hạn bởi năng lực tính toán dấu phẩy động; giai đoạn đầu ra Decode (giải mã) là tác vụ chuyên sâu về truy cập bộ nhớ, bị giới hạn bởi băng thông bộ nhớ video.
Việc chạy đồng thời cả hai trên cùng một nhóm tài nguyên vật lý tất yếu dẫn đến lãng phí hai chiều: nếu chọn phần cứng theo băng thông Decode, bộ nhớ dung lượng lớn dành cho Prefill sẽ hoạt động kém hiệu quả trong thời gian dài; nếu chọn theo năng lực tính toán Prefill, các đơn vị tính toán dành cho Decode sẽ bị bỏ không trên diện rộng. Sách trắng chỉ ra rằng chìa khóa để vượt qua nút thắt này là tách hoàn toàn Prefill và Decode, để mỗi bên vận hành trên nhóm tài nguyên phần cứng phù hợp nhất với đặc tính tính toán của mình:
Nhóm năng lực tính toán Prefill: tập trung vào hiệu suất sử dụng năng lực tính toán cao và độ trễ ký tự đầu tiên cực thấp (TTFT);
Nhóm tài nguyên Decode: tập trung vào khả năng xử lý đồng thời cao và độ trễ ổn định trên mỗi Token (ITL).
Thông qua đầu tư phân tầng phần cứng, cấu hình năng lực tính toán chuyển từ “dư thừa phổ dụng” sang “phù hợp theo nhu cầu”, qua đó giảm chi phí hạ tầng trên mỗi Token trong khi vẫn đáp ứng các ràng buộc về chất lượng dịch vụ (SLO).