DeepInfer 運営中

DeepInferはDeepSeekがオープンソースで公開する本番向け推論フレームワークで、vLLMを起源とし、V4.1 Flashをサポート。NVIDIA SM100およびHuawei Ascend 950で実行できる。DeepInferはPD分離デプロイを採用し、3FSキャッシュクラスターにより入力の96%をヒットさせ、Prefillの効率を25倍向上させる。SWA Bounded ReplayによりPrefillの計算量を半減し、DSpark投機的デコードによりスループットをさらに6%向上させ、オンラインの単一クラスターで1日155兆Tokenを処理できる。同時にオープンソース化されたdeepseek-recipeは、本番向けのTokenエンコード・デコードコンポーネントであり、Chat Completions、Responses、Messagesの3種類のAPI形式を統一し、インジェクション対策、並列トークナイズ、ストリーミング出力を処理することで、自ホストモデルのインターフェース動作を公式APIと完全に一致させる。

分散推論：アテンションデータ並列、コンテキスト並列、MoEエキスパート並列をサポートし、単一クラスターで1日155兆Tokenを処理する大規模本番サービスを実現。
ハードウェア間の互換性：NVIDIA SM100 GPUとHuawei Ascend 950 NPUを同時にサポートし、2大コンピューティングエコシステムをカバー。
長文コンテキストの効率的な処理：SWA Bounded Replayにより、キャッシュミス時の再計算コストを固定128 Tokenまで圧縮し、コンテキスト長や層数から切り離す。
投機的デコードによる高速化：独自開発のDSparkと信頼度検証スケジューリングを統合し、モデルが一度に複数のTokenを生成できるようにして、生成スループットを大幅に向上。
負荷分散スケジューリング：エキスパートとリクエストの分布を動的に均衡化し、オンラインで最も負荷の高いカードでも平均負荷を9%上回るにとどめる。
キャッシュの再利用：3FSストレージクラスターにより入力キャッシュのヒット率96%を実現し、Prefillスループットを約25倍向上。

WeChatでフォローし、「開源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます
PD分離デプロイ：推論をPrefillとDecodeの2段階に分ける。Prefillは数万Tokenの入力を一括処理する計算集約型の処理で、DecodeはToken単位で生成するため、メモリ帯域幅による読み取りの制約を受ける。DeepInferは両者を異なるハードウェアにデプロイし、Prefillには通常の8カードサーバー、Decodeには64～128カードの超大規模ノードを使用する。2種類のマシンを約1:1で構成し、それぞれが最適なハードウェア特性で動作できるようにする。
プレフィックスキャッシュ基盤：Agentシナリオでは、ツールを呼び出すたびに完全な履歴を再送するが、その大部分はすでに計算済みである。システムは先頭Tokenから完全に一致するプレフィックスのみをキャッシュし、ヒットした部分はKV Cacheを直接再利用して、新たに追加された部分だけを計算する。キャッシュは独立した3FS分散ストレージクラスターに保存し、128 Token単位で書き込む。Agentトラフィックは3日間、チャットトラフィックは7日間保持する。
SWA Bounded Replay：V4.1 Flashの一部の層ではスライディングウィンドウアテンションを採用し、各Tokenは直近128 Tokenだけを参照する。この部分のKV Cacheはディスクに書き込まず、計算マシンのメモリ上にのみ保持する。キャッシュミス時、従来方式では「層数×ウィンドウ長」に基づいて正確に再計算する必要があった。V4.1では最後の128 Tokenだけを再計算し、アテンションもこの128 Token内でのみ実行することで、近似的なウィンドウキャッシュを得て、再計算コストを固定化する。
DSpark投機的デコードと非同期スケジューリング：軽量なドラフトモジュールがまず5個のTokenを連続して予測し、その後ターゲットモデルが一括検証する。正しく予測されたTokenはそのまま採用し、最初に誤った箇所を大規模モデルが修正することで、1回の計算で複数のTokenを生成できる。信頼度ヘッドが各予測の受理確率を推定し、可能性の低いものは検証せず、その計算資源を他のリクエストに振り向ける。固定で5個を検証する方式と比べ、オンラインスループットを6%向上させる。同時に、CPUによる第N+1ステップのスケジューリングとGPUによる第Nステップの計算を重複実行し、スケジューリングの隙間に生じるGPUのアイドルを解消する。

環境の前提条件を確認する：Linuxシステム、GCC ≥ 13.0、Python 3.12。NVIDIAプラットフォームにはCUDA 13、AscendプラットフォームにはCANN 9.2が必要。
リポジトリをクローンする：git clone https://github.com/deepseek-ai/DeepInfer を実行してディレクトリに移動する。
クリーンな環境を作成する：空のPython 3.12仮想環境を新規作成して有効化し、依存関係の競合を避ける。
ハードウェアプラットフォームを選択してビルドする：export DEEPINFER_ACCELERATOR=nvidia（Ascendの場合はascend）を実行した後、./build.shを実行してソースからビルドする。この環境変数は、その後の実行環境でも有効な状態を維持する必要がある。
モデルの重みを準備する：初回実行時はデフォルトでHugging Faceからdeepseek-ai/DeepSeek-V4.1-Flash-1017が自動ダウンロードされる。または、export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017を使用してローカルコピーを指定する。
オフライン推論の例を実行する：python examples/offline_inference.pyを実行して推論を開始する。詳しい使い方はリポジトリのexamplesディレクトリを参照。

本番で検証された超高性能：V4.1 Flashの大規模オンラインサービスで実際に稼働し、単一クラスターで1日155兆Tokenを処理。TTFTはわずか400ms、生成速度は230 tokens/s。
極めて高いキャッシュ再利用効率：入力の96%がプレフィックスキャッシュにヒットし、Prefillのカードあたりスループットは、キャッシュを考慮しない6万から150万 tokens/sに向上し、25倍の差を実現。
長文コンテキストのコストを大幅に削減：SWA Bounded Replayによりキャッシュミス時の再計算量を最後の128 Tokenに固定し、Prefill全体の計算量をほぼ半減。コストはコンテキスト長に依存しない。
業界をリードする生成効率：DSpark投機的デコードに信頼度スケジューリングと非同期スケジューリングを組み合わせ、1回の処理で複数のTokenを生成できる。オンラインスループットは固定検証方式と比べてさらに6%向上し、カードあたり毎秒14K Tokenを生成。
優れた負荷分散能力：MoEエキスパートレプリカを10000ステップごとに動的に再配置し、オンラインで最も負荷の高いカードでも平均負荷を9%上回るにとどまる。全体として理想的な均衡状態の80%を達成。
2種類のハードウェアプラットフォームに対応：NVIDIA SM100 GPUとHuawei Ascend 950 NPUを同時にサポートし、2大コンピューティングエコシステムをカバーする数少ない本番向け推論フレームワーク。

GitHubリポジトリ： https://github.com/deepseek-ai/DeepInfer
https://github.com/deepseek-ai/deepseek-recipe

企業のプライベートデプロイ：企業が自社データセンターにV4.1 Flashをデプロイし、deepseek-recipeによって公式APIの動作に合わせることで、データを域外に出さずにコンプライアンスに準拠した推論を実現。
国産コンピューティングへの対応：Huawei Ascend 950 NPUをネイティブにサポートし、政府・企業、金融などの国産化要件を持つシナリオで、NVIDIAへの依存を解消。
大規模Agentサービス：96%のプレフィックスキャッシュヒット率により、複数回のツール呼び出しで発生する重複計算を大幅に削減し、高並列Agentプラットフォームの低コスト運用に適する。
長文コンテキストの文書処理：SWA Bounded Replayにより長文のPrefill計算量をほぼ半減し、契約分析やコードベース理解など、非常に長い入力を扱うシナリオに適する。
費用対効果の高い自社構築推論サービス：カードあたりの高スループットと230～300 tokens/sの生成速度により、従量課金APIの代替としてスタートアップに適しており、大規模な自社構築でコストを削減できる。