Moore Threads “MTT S5000 Prefill-as-a-Service texnik oq qog‘ozi”ni rasman e’lon qildi va flagman darajadagi AI o‘qitish va inferensiyani birlashtirgan hisoblash kartasi MTT S5000 asosida “Prefill As a Service” yangi paradigmasini yaratishini ma’lum qildi. U AI Agent, kod generatsiyasi, o‘ta uzun hujjatlarni tahlil qilish kabi uzun kontekstli inferensiya ssenariylariga mo‘ljallangan bo‘lib, sohaga inferensiya samaradorligi, xarajatlarni nazorat qilish va hisoblash quvvatini monetizatsiya qilishni uyg‘unlashtirgan amaliy yo‘lni taqdim etadi.
Moore Threads ma’lumotlariga ko‘ra, katta modellar kirish konteksti hajmi tez sur’atlarda yuzlab K dan 1M darajasigacha oshib borar ekan, uzun matnli kirish ma’lumotlari keltirib chiqaradigan hisoblash sarfi va birinchi tokenni olish kechikishi bosimi tobora kuchaymoqda. Bu korxonalarning inferensiya xizmatlari samaradorligi va umumiy egalik qiymatini (TCO) cheklovchi asosiy to‘siqqa aylanmoqda. Bir xil tipdagi klasterlarda hisoblash quvvatini joylashtirishning an’anaviy modeli turli hisoblash bosqichlarining apparat resurslariga bo‘lgan farqli talablarini qondira olmayapti.
Asosiy muammo strukturaviy nomuvofiqlikda: katta model onlayn inferensiyasida kirish bosqichidagi Prefill (oldindan to‘ldirish) hisoblashga talabchan vazifa bo‘lib, suzuvchi nuqtali hisoblash quvvatiga bog‘liq; chiqish bosqichidagi Decode (dekodlash) esa xotiraga murojaat qilishga talabchan vazifa bo‘lib, videoxotira o‘tkazuvchanligiga bog‘liq.
Ularni bir xil fizik resurs havzasida birgalikda ishga tushirish ikki tomonlama isrofga olib keladi: tanlov Decode o‘tkazuvchanligiga asoslanganida, Prefill uchun katta hajmli videoxotira uzoq vaqt samarasiz ishlatiladi; tanlov Prefill hisoblash quvvatiga asoslanganida esa, Decode hisoblash birliklarining katta qismi bekor turadi. “Oq qog‘oz”da ushbu to‘siqni yengishning muhim yo‘li Prefill va Decode’ni to‘liq ajratish hamda ularning har birini o‘ziga mos hisoblash xususiyatlariga ega apparat resurslari havzasida ishga tushirish ekani ko‘rsatilgan:
Prefill hisoblash quvvati havzasi: hisoblash quvvatidan yuqori darajada foydalanish va birinchi tokenni olishning nihoyatda past kechikishiga (TTFT) ixtisoslashadi;
Decode resurslari havzasi: yuqori parallellik va har bir Token uchun barqaror kechikishni (ITL) ta’minlashga ixtisoslashadi.
Apparatni bosqichma-bosqich investitsiyalash orqali hisoblash quvvati konfiguratsiyasi “umumiy zaxira”dan “talabga mos taqsimlash”ga o‘tadi. Bu xizmat sifati (SLO) talablari bajarilgan holda, har bir Token uchun infratuzilma xarajatlarini kamaytirish imkonini beradi.