摩尔线程は『MTT S5000 Prefill-as-a-Service 技術白書』を正式に発表し、フラッグシップAI学習・推論一体型コンピューティングカードMTT S5000を基盤に、「Prefill As a Service」という新たなパラダイムを構築すると発表しました。AI Agent、コード生成、超長文書分析などの長文脈推論シナリオを対象に、推論効率、コスト管理、コンピューティングパワーの収益化を両立する、業界で実装可能な道筋を提供します。
摩尔线程によると、大規模モデルの入力コンテキスト規模が急速に数百Kから1M規模へ拡大する中、長文入力によるコンピューティングリソースの消費と初回トークン遅延への負荷が高まり続けており、企業の推論サービス効率と総保有コスト（TCO）を制約する主要なボトルネックになりつつあります。従来の同種構成クラスタによるコンピューティングパワーの展開方式では、計算段階ごとに異なるハードウェアリソースへの要求に対応することが難しくなっています。
核心的な課題は構造的なミスマッチにあります。大規模モデルのオンライン推論では、入力段階のPrefill（プリフィル）は演算負荷の高いタスクであり、浮動小数点演算性能の制約を受けます。一方、出力段階のDecode（デコード）はメモリアクセス負荷の高いタスクであり、ビデオメモリ帯域幅の制約を受けます。
両者を同一の物理リソースプールで混在実行すると、必然的に双方で無駄が生じます。Decodeの帯域幅に合わせて選定すれば、Prefill向けの大容量メモリが長期間低効率となり、Prefillの演算性能に合わせて選定すれば、Decodeの演算ユニットが大規模に遊休化します。白書では、このボトルネックを突破する鍵はPrefillとDecodeを完全に分離し、それぞれの計算特性に最適なハードウェアリソースプール上で稼働させることだと指摘しています。
Prefill演算プール：高い演算性能利用率と極めて低い初回トークン遅延（TTFT）に特化。
Decodeリソースプール：高い同時実行性と安定したトークンあたり遅延（ITL）に特化。
ハードウェアを階層的に投入することで、コンピューティングパワーの構成を「汎用的な余剰」から「需要に応じた適合」へと転換し、サービス品質（SLO）の制約を満たしながら、トークン単位のインフラコストを低減できます。