DeepInfer 운영 중

DeepInfer는 DeepSeek가 오픈 소스로 공개한 프로덕션급 추론 프레임워크로, vLLM에서 파생되었으며 V4.1 Flash를 지원하고 NVIDIA SM100 및 Huawei Ascend 950에서 실행할 수 있습니다. DeepInfer는 PD 분리 배포를 채택하고 3FS 캐시 클러스터를 통해 입력 적중률 96%와 Prefill 효율 25배 향상을 달성합니다. 또한 SWA Bounded Replay를 통해 Prefill 연산량을 절반으로 줄이고, DSpark 추측 디코딩으로 처리량을 6% 추가 향상합니다. 온라인 단일 클러스터에서 하루 155조 Token을 처리할 수 있습니다. 함께 오픈 소스로 공개된 deepseek-recipe는 프로덕션급 Token 인코딩 및 디코딩 컴포넌트로, Chat Completions, Responses, Messages의 세 가지 API 형식을 통일하고 주입 방어, 병렬 토큰화 및 스트리밍 출력을 처리하여 자체 배포 모델의 인터페이스 동작을 공식 API와 완전히 일치시킵니다.

분산 추론: 어텐션 데이터 병렬화, 컨텍스트 병렬화 및 MoE 전문가 병렬화를 지원하여 단일 클러스터에서 하루 155조 Token을 처리하는 대규모 프로덕션 서비스를 지원합니다.
하드웨어 플랫폼 간 호환성: NVIDIA SM100 GPU와 Huawei Ascend 950 NPU를 동시에 지원하여 두 주요 컴퓨팅 생태계를 아우릅니다.
긴 컨텍스트의 효율적 처리: SWA Bounded Replay를 통해 캐시 미적중 시 재계산 비용을 고정된 128개 Token으로 줄여 컨텍스트 길이 및 레이어 수와 분리합니다.
추측 디코딩 가속: 자체 개발한 DSpark와 신뢰도 검증 스케줄링을 통합하여 모델이 한 번에 여러 Token을 생성하도록 하고 생성 처리량을 크게 향상시킵니다.
부하 균형 스케줄링: 전문가와 요청의 분포를 동적으로 균형 조정하여 온라인 환경에서 가장 바쁜 카드의 부하가 평균보다 9%만 높습니다.
캐시 재사용: 3FS 스토리지 클러스터를 기반으로 입력 캐시 적중률 96%를 달성하고 Prefill 처리량을 약 25배 향상시킵니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요.
PD 분리 배포: 추론은 Prefill과 Decode의 두 단계로 나뉩니다. Prefill은 수만 개 Token의 입력을 한 번에 처리하므로 연산 집약적이며, Decode는 Token 단위로 생성하므로 GPU 메모리 대역폭 읽기의 제약을 받습니다. DeepInfer는 두 단계를 서로 다른 하드웨어에 배포합니다. Prefill에는 일반 8카드 서버를, Decode에는 64–128카드 초대형 노드를 사용하며, 두 유형의 장비 수를 약 1:1로 구성하여 각각 하드웨어 특성에 맞게 최적으로 실행합니다.
프리픽스 캐시 체계: Agent 시나리오에서는 도구를 호출할 때마다 전체 기록을 다시 전송하며, 그중 대부분은 이미 계산된 내용입니다. 시스템은 첫 번째 Token부터 완전히 일치하는 프리픽스만 캐시하고, 적중한 부분은 KV Cache를 직접 재사용하며 새로 추가된 부분만 계산합니다. 캐시는 독립적인 3FS 분산 스토리지 클러스터에 저장되며, 128 Token 단위로 기록됩니다. Agent 트래픽은 3일, 채팅 트래픽은 7일 동안 보존됩니다.
SWA Bounded Replay: V4.1 Flash의 일부 레이어는 슬라이딩 윈도우 어텐션을 사용하여 각 Token이 최근 128개 Token에만 주목합니다. 이 부분의 KV Cache는 디스크에 기록하지 않고 연산 장비의 메모리에만 유지합니다. 캐시 미적중 시 기존 방식은 “레이어 수 × 윈도우 길이”에 따라 정확히 재계산해야 했지만, V4.1은 마지막 128개 Token만 재계산하고 어텐션도 이 128개 안에서만 수행하여 근사 윈도우 캐시를 구성하므로 재계산 비용이 고정됩니다.
DSpark 추측 디코딩 및 비동기 스케줄링: 경량 초안 모듈이 먼저 5개의 Token을 연속으로 추측한 뒤 대상 모델이 일괄 검증합니다. 맞힌 Token은 바로 채택하고, 처음 틀린 지점은 대형 모델이 수정하므로 한 번의 계산으로 여러 Token을 진행할 수 있습니다. 신뢰도 헤드는 각 추측이 수용될 확률을 예측하여 가능성이 낮은 추측은 검증하지 않고 다른 요청에 연산 자원을 할당합니다. 고정적으로 5개를 검증하는 방식과 비교해 온라인 처리량이 6% 향상됩니다. 동시에 CPU는 N+1단계의 스케줄링을 GPU의 N단계 계산과 중첩 실행하여 스케줄링 공백에서 GPU가 유휴 상태가 되는 것을 없앱니다.

환경 사전 조건 확인: Linux 시스템, GCC ≥ 13.0, Python 3.12가 필요합니다. NVIDIA 플랫폼에는 CUDA 13, Ascend 플랫폼에는 CANN 9.2가 필요합니다.
저장소 복제: git clone https://github.com/deepseek-ai/DeepInfer를 실행한 후 디렉터리로 이동합니다.
깨끗한 환경 생성: 의존성 충돌을 방지하기 위해 비어 있는 Python 3.12 가상 환경을 새로 만들고 활성화합니다.
하드웨어 플랫폼 선택 및 컴파일: export DEEPINFER_ACCELERATOR=nvidia를 실행한 후(Ascend는 ascend 사용) ./build.sh를 실행하여 소스에서 빌드합니다. 이후 실행 환경에서도 이 환경 변수가 계속 적용되어야 합니다.
모델 가중치 준비: 기본적으로 최초 실행 시 Hugging Face에서 deepseek-ai/DeepSeek-V4.1-Flash-1017을 자동으로 다운로드합니다. 또는 export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017을 사용해 로컬 복사본을 지정할 수 있습니다.
오프라인 추론 예제 실행: python examples/offline_inference.py를 실행하여 추론을 시작합니다. 자세한 사용법은 저장소의 examples 디렉터리를 참고하세요.

프로덕션에서 검증된 초고성능: V4.1 Flash의 대규모 온라인 서비스에서 실제 운영되고 있으며, 단일 클러스터에서 하루 155조 Token을 처리하고 첫 Token 지연 시간은 400ms, 생성 속도는 230 tokens/s입니다.
매우 높은 캐시 재사용 효율: 입력의 96%가 프리픽스 캐시에 적중하며, Prefill 카드당 처리량이 캐시를 고려하지 않을 때의 6만에서 150만 tokens/s로 증가하여 25배 향상됩니다.
긴 컨텍스트 비용 대폭 절감: SWA Bounded Replay는 캐시 미적중 재계산량을 마지막 128개 Token으로 고정하여 Prefill 총 연산량을 거의 절반으로 줄이며, 비용이 컨텍스트 길이와 무관합니다.
업계 최고 수준의 생성 효율: DSpark 추측 디코딩에 신뢰도 스케줄링과 비동기 스케줄링을 결합하여 한 번에 여러 Token을 진행할 수 있습니다. 온라인 처리량은 고정 검증 방식보다 6% 추가 향상되며, 카드당 초당 14K Token을 생성합니다.
뛰어난 부하 균형 능력: MoE 전문가 복제본을 10000단계마다 동적으로 재배치하여 온라인 환경에서 가장 바쁜 카드의 부하가 평균보다 9%만 높고, 전체적으로 이상적인 균형 상태의 80%에 도달합니다.
듀얼 하드웨어 플랫폼 호환성: NVIDIA SM100 GPU와 Huawei Ascend 950 NPU를 동시에 지원하는 현재 몇 안 되는 두 주요 컴퓨팅 생태계 지원 프로덕션급 추론 프레임워크입니다.

GitHub 저장소: https://github.com/deepseek-ai/DeepInfer
https://github.com/deepseek-ai/deepseek-recipe

기업 프라이빗 배포: 기업이 로컬 데이터센터에 V4.1 Flash를 배포하고 deepseek-recipe를 통해 공식 API 동작을 맞춤으로써 데이터가 외부로 나가지 않는 규정 준수 추론을 구현할 수 있습니다.
국산 컴퓨팅 역량 적용: Huawei Ascend 950 NPU를 기본 지원하여 정부·기업, 금융 등 국산 IT 전환 시나리오에서 NVIDIA 의존도를 낮출 수 있습니다.
대규모 Agent 서비스: 96%의 프리픽스 캐시 적중률로 다중 라운드 도구 호출의 중복 계산을 크게 줄여 고동시성 Agent 플랫폼의 저비용 운영에 적합합니다.
긴 컨텍스트 문서 처리: SWA Bounded Replay로 긴 텍스트의 Prefill 연산량을 거의 절반으로 줄여 계약 분석, 코드베이스 이해 등 초장문 입력 시나리오에 적합합니다.
높은 비용 효율의 자체 구축 추론 서비스: 카드당 높은 처리량과 230–300 tokens/s의 생성 속도로 스타트업이 종량제 API를 대체하고 대규모 자체 구축을 통해 비용을 절감하는 데 적합합니다.