DeepInfer Đang hoạt động

DeepInfer là framework suy luận cấp production mã nguồn mở của DeepSeek, bắt nguồn từ vLLM, hỗ trợ V4.1 Flash, có thể chạy trên NVIDIA SM100 và Huawei Ascend 950. DeepInfer sử dụng triển khai tách biệt PD, dựa vào cụm bộ nhớ đệm 3FS để đạt tỷ lệ cache đầu vào 96%, tăng hiệu quả Prefill 25 lần; SWA Bounded Replay giảm một nửa khối lượng tính toán Prefill, còn giải mã suy đoán DSpark tiếp tục tăng thông lượng 6%, giúp một cụm duy nhất xử lý 155 nghìn tỷ Token mỗi ngày trong môi trường production. deepseek-recipe được mã nguồn mở đồng thời là thành phần mã hóa và giải mã Token cấp production, chịu trách nhiệm thống nhất định dạng của ba API Chat Completions, Responses và Messages, xử lý chống chèn lệnh, token hóa song song và đầu ra dạng luồng, giúp API của mô hình tự triển khai hoàn toàn nhất quán với API chính thức.

Suy luận phân tán: hỗ trợ song song dữ liệu attention, song song ngữ cảnh và song song chuyên gia MoE, đáp ứng dịch vụ production quy mô lớn với khả năng xử lý 155 nghìn tỷ Token mỗi ngày trên một cụm.
Tương thích đa nền tảng phần cứng: đồng thời hỗ trợ GPU NVIDIA SM100 và NPU Huawei Ascend 950, bao phủ hai hệ sinh thái năng lực tính toán lớn.
Xử lý ngữ cảnh dài hiệu quả: SWA Bounded Replay giảm chi phí tính toán lại khi cache không trúng xuống cố định ở 128 Token, tách biệt khỏi độ dài ngữ cảnh và số lớp.
Tăng tốc giải mã suy đoán: tích hợp DSpark tự phát triển cùng cơ chế lập lịch xác minh độ tin cậy, cho phép mô hình tiến nhiều Token mỗi lần và cải thiện đáng kể thông lượng sinh.
Lập lịch cân bằng tải: tự động cân bằng phân bổ chuyên gia và yêu cầu, với GPU bận nhất trong production chỉ cao hơn 9% so với tải trung bình.
Tái sử dụng cache: dựa trên cụm lưu trữ 3FS để đạt tỷ lệ cache đầu vào 96%, tăng thông lượng Prefill khoảng 25 lần.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Triển khai tách biệt PD: suy luận được chia thành hai giai đoạn Prefill và Decode: Prefill xử lý hàng chục nghìn Token đầu vào trong một lần, thiên về tính toán; Decode sinh từng Token, bị giới hạn bởi việc đọc băng thông bộ nhớ GPU. DeepInfer triển khai hai giai đoạn trên các phần cứng khác nhau: Prefill sử dụng máy chủ 8 GPU thông thường, Decode sử dụng siêu nút 64–128 GPU. Số lượng hai loại máy được cấu hình theo tỷ lệ khoảng 1:1, để mỗi loại vận hành theo đặc tính phần cứng tối ưu.
Hệ thống cache tiền tố: trong các tác vụ Agent, mỗi lần gọi công cụ đều gửi lại toàn bộ lịch sử, trong đó phần lớn nội dung đã được tính toán. Hệ thống chỉ cache tiền tố hoàn toàn giống nhau từ Token đầu tiên, trực tiếp tái sử dụng KV Cache của phần trùng khớp và chỉ tính phần mới. Cache được lưu trong cụm lưu trữ phân tán 3FS độc lập, ghi theo khối 128 Token; lưu lượng Agent được giữ 3 ngày, lưu lượng trò chuyện được giữ 7 ngày.
SWA Bounded Replay: một số lớp của V4.1 Flash sử dụng attention cửa sổ trượt, mỗi Token chỉ chú ý đến 128 Token gần nhất. KV Cache của phần này không được ghi vào ổ đĩa mà chỉ lưu trong bộ nhớ của máy tính toán. Khi cache không trúng, giải pháp cũ phải tính lại chính xác theo “số lớp × độ dài cửa sổ”; V4.1 chỉ tính lại 128 Token cuối cùng và attention cũng chỉ được thực hiện trên 128 Token này, tạo ra cache cửa sổ xấp xỉ với chi phí tính toán lại cố định.
Giải mã suy đoán DSpark và lập lịch bất đồng bộ: mô-đun bản nháp nhẹ trước tiên liên tục dự đoán 5 Token, sau đó mô hình đích xác minh theo lô. Các Token dự đoán đúng được sử dụng trực tiếp, còn tại vị trí đầu tiên dự đoán sai, mô hình lớn sẽ hiệu chỉnh; một lần tính toán có thể tiến nhiều Token. Đầu độ tin cậy ước tính xác suất chấp nhận của từng dự đoán; các dự đoán có khả năng thấp sẽ không được xác minh, dành năng lực tính toán cho yêu cầu khác. So với phương án luôn xác minh 5 Token, thông lượng production tăng 6%. Đồng thời, CPU thực hiện lập lịch bước N+1 chồng lấp với GPU tính toán bước N, loại bỏ thời gian GPU chờ giữa các lần lập lịch.

Kiểm tra điều kiện môi trường: hệ thống Linux, GCC ≥ 13.0, Python 3.12; nền tảng NVIDIA cần CUDA 13, nền tảng Ascend cần CANN 9.2.
Sao chép kho: git clone https://github.com/deepseek-ai/DeepInfer rồi vào thư mục dự án.
Tạo môi trường sạch: tạo và kích hoạt một môi trường ảo Python 3.12 trống để tránh xung đột phụ thuộc.
Chọn nền tảng phần cứng và biên dịch: chạy export DEEPINFER_ACCELERATOR=nvidia (Ascend dùng ascend), sau đó thực thi ./build.sh để xây dựng từ mã nguồn. Lưu ý biến môi trường này phải tiếp tục có hiệu lực trong môi trường chạy sau đó.
Chuẩn bị trọng số mô hình: mặc định, lần chạy đầu tiên sẽ tự động tải deepseek-ai/DeepSeek-V4.1-Flash-1017 từ Hugging Face; hoặc dùng export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 để trỏ đến bản sao cục bộ.
Chạy ví dụ suy luận ngoại tuyến: thực thi python examples/offline_inference.py để khởi động suy luận; tham khảo thêm thư mục examples trong kho.

Hiệu năng cực cao đã được kiểm chứng trong production: đã vận hành thực tế trong dịch vụ trực tuyến quy mô lớn của V4.1 Flash, một cụm xử lý 155 nghìn tỷ Token mỗi ngày, độ trễ Token đầu tiên chỉ 400ms và tốc độ sinh 230 tokens/s.
Hiệu quả tái sử dụng cache rất cao: 96% đầu vào trúng cache tiền tố; thông lượng Prefill mỗi GPU tăng từ 60 nghìn khi không tính cache lên 1,5 triệu tokens/s, chênh lệch 25 lần.
Chi phí ngữ cảnh dài giảm đáng kể: SWA Bounded Replay cố định lượng tính toán lại khi cache không trúng ở 128 Token cuối cùng, khiến tổng lượng tính toán Prefill gần như giảm một nửa và chi phí không phụ thuộc độ dài ngữ cảnh.
Hiệu quả sinh dẫn đầu ngành: giải mã suy đoán DSpark kết hợp lập lịch độ tin cậy và lập lịch bất đồng bộ, mỗi lần có thể tiến nhiều Token; thông lượng production tăng thêm 6% so với phương án xác minh cố định, đạt 14K Token mỗi GPU mỗi giây.
Khả năng cân bằng tải vượt trội: các bản sao chuyên gia MoE được sắp xếp lại động sau mỗi 10000 bước; GPU bận nhất trong production chỉ cao hơn 9% so với tải trung bình, toàn hệ thống đạt 80% trạng thái cân bằng lý tưởng.
Tương thích hai nền tảng phần cứng: đồng thời hỗ trợ GPU NVIDIA SM100 và NPU Huawei Ascend 950, là một trong số rất ít framework suy luận cấp production hiện nay bao phủ cả hai hệ sinh thái năng lực tính toán lớn.

Kho GitHub: https://github.com/deepseek-ai/DeepInfer
https://github.com/deepseek-ai/deepseek-recipe

Triển khai riêng tư cho doanh nghiệp: doanh nghiệp triển khai V4.1 Flash trong trung tâm dữ liệu nội bộ, sử dụng deepseek-recipe để đồng bộ hành vi API chính thức, đáp ứng suy luận tuân thủ mà dữ liệu không rời khỏi phạm vi doanh nghiệp.
Thích ứng với năng lực tính toán nội địa: hỗ trợ nguyên bản NPU Huawei Ascend 950, đáp ứng nhu cầu của chính phủ, doanh nghiệp và tài chính trong việc giảm phụ thuộc vào NVIDIA.
Dịch vụ Agent quy mô lớn: tỷ lệ cache tiền tố 96% giúp giảm đáng kể tính toán lặp lại trong các lần gọi công cụ đa lượt, phù hợp với việc vận hành nền tảng Agent nhiều yêu cầu với chi phí thấp.
Xử lý tài liệu ngữ cảnh dài: SWA Bounded Replay gần như giảm một nửa lượng tính toán Prefill của văn bản dài, phù hợp với các tác vụ đầu vào siêu dài như phân tích hợp đồng và tìm hiểu kho mã nguồn.
Tự xây dựng dịch vụ suy luận hiệu quả về chi phí: thông lượng cao trên mỗi GPU kết hợp tốc độ sinh 230–300 tokens/s, phù hợp để startup thay thế API tính phí theo mức sử dụng và tiết kiệm chi phí khi tự triển khai ở quy mô lớn.