무어 스레드가 《MTT S5000 Prefill-as-a-Service 기술 백서》를 공식 발표하고, 플래그십 AI 학습·추론 통합 컴퓨팅 카드 MTT S5000을 기반으로 ‘Prefill As a Service’의 새로운 패러다임을 구축한다고 밝혔다. AI Agent, 코드 생성, 초장문서 분석 등 긴 컨텍스트 추론 시나리오를 대상으로 추론 효율, 비용 관리, 컴퓨팅 파워 수익화를 모두 고려한 산업 적용 경로를 제공한다.
무어 스레드에 따르면 대형 모델의 입력 컨텍스트 규모가 수백 K에서 1M 수준으로 빠르게 확대되면서, 장문 입력으로 인한 컴퓨팅 파워 소모와 첫 토큰 지연 시간이 계속 증가하고 있다. 이는 기업 추론 서비스의 효율과 총소유비용(TCO)을 제약하는 핵심 병목으로 점점 부상하고 있다. 기존 동종 클러스터의 컴퓨팅 파워 배치 방식으로는 서로 다른 연산 단계의 하드웨어 자원 차별화 요구에 대응하기 어려워졌다.
핵심 문제는 구조적 불일치에 있다. 대형 모델 온라인 추론에서 입력 단계인 Prefill(프리필)은 연산 집약형 작업으로 부동소수점 연산 성능의 제약을 받으며, 출력 단계인 Decode(디코드)는 메모리 접근 집약형 작업으로 비디오 메모리 대역폭의 제약을 받는다.
두 작업을 동일한 물리 자원 풀에서 함께 실행하면 양방향 낭비가 불가피하다. Decode 대역폭을 기준으로 하드웨어를 선정하면 Prefill의 대용량 메모리가 장기간 낮은 효율로 사용되고, Prefill 연산 성능을 기준으로 선정하면 Decode 연산 유닛 대부분이 유휴 상태가 된다. 《백서》는 이 병목을 돌파하는 핵심이 Prefill과 Decode를 완전히 분리해 각각의 연산 특성에 가장 적합한 하드웨어 자원 풀에서 실행하는 데 있다고 지적했다.
Prefill 연산 풀: 높은 연산 성능 활용률과 매우 낮은 첫 토큰 지연 시간(TTFT)에 집중한다.
Decode 자원 풀: 높은 동시성과 안정적인 토큰당 지연 시간(ITL)에 집중한다.
하드웨어를 계층적으로 투자하면 컴퓨팅 파워 구성이 ‘범용적 과잉’에서 ‘수요 기반 매칭’으로 전환된다. 서비스 품질(SLO) 제약을 충족하는 동시에 토큰당 인프라 비용을 낮출 수 있다.