مور تھریڈ نے باضابطہ طور پر 《MTT S5000 Prefill-as-a-Service تکنیکی وائٹ پیپر》 جاری کرتے ہوئے اعلان کیا ہے کہ فلیگ شپ AI ٹریننگ و اِنفرنسنگ مربوط کمپیوٹنگ کارڈ MTT S5000 کی بنیاد پر “Prefill As a Service” کا نیا نمونہ تشکیل دیا گیا ہے، جو AI Agent، کوڈ جنریشن اور انتہائی طویل دستاویزات کے تجزیے جیسے طویل سیاق و سباق کی استدلالی صورتحال کے لیے صنعت کو استدلالی کارکردگی، لاگت پر قابو اور کمپیوٹنگ پاور سے آمدنی، تینوں کو متوازن کرنے والا قابلِ عمل راستہ فراہم کرتا ہے۔
مور تھریڈ کے مطابق، بڑے ماڈلز کے ان پٹ سیاق و سباق کا حجم تیزی سے کئی سو K سے 1M کی سطح تک پہنچ رہا ہے۔ طویل متون کے ان پٹ سے پیدا ہونے والی کمپیوٹنگ لاگت اور پہلے ٹوکن کے وقت کی تاخیر کا دباؤ مسلسل بڑھ رہا ہے، جو کاروباری استدلالی خدمات کی کارکردگی اور ملکیت کی مجموعی لاگت (TCO) کو محدود کرنے والی اہم رکاوٹ بنتا جا رہا ہے۔ روایتی ہم جنس کلسٹرز کی کمپیوٹنگ تعیناتی کا طریقہ مختلف کمپیوٹنگ مراحل کی ہارڈویئر وسائل سے متعلق مختلف ضروریات پوری کرنے کے لیے ناکافی ہو چکا ہے۔
بنیادی مسئلہ ساختی عدم مطابقت ہے: بڑے ماڈلز کی آن لائن استدلالی کارروائی میں، ان پٹ مرحلے کا Prefill (پیشگی بھرائی) کمپیوٹیشن پر مبنی کام ہے، جو فلوٹنگ پوائنٹ کمپیوٹنگ پاور سے محدود ہوتا ہے؛ آؤٹ پٹ مرحلے کا Decode (ڈی کوڈنگ) میموری رسائی پر مبنی کام ہے، جو ویڈیو میموری بینڈوڈتھ سے محدود ہوتا ہے۔
دونوں کو ایک ہی فزیکل وسائل کے پول میں بیک وقت چلانے سے لازماً دو طرفہ ضیاع ہوتا ہے: اگر انتخاب Decode بینڈوڈتھ کے مطابق کیا جائے تو Prefill کی بڑی گنجائش والی ویڈیو میموری طویل عرصے تک کم مؤثر رہتی ہے؛ اگر انتخاب Prefill کمپیوٹنگ پاور کے مطابق کیا جائے تو Decode کے کمپیوٹنگ یونٹس کا بڑا حصہ بے کار رہتا ہے۔ وائٹ پیپر کے مطابق، اس رکاوٹ کو توڑنے کی کلید Prefill اور Decode کو مکمل طور پر الگ کرنا ہے، تاکہ دونوں اپنے اپنے کمپیوٹنگ خواص سے زیادہ مطابقت رکھنے والے ہارڈویئر وسائل کے پول پر چلیں:
Prefill کمپیوٹنگ پاور پول: کمپیوٹنگ پاور کے بلند استعمال اور پہلے ٹوکن کی انتہائی کم تاخیر (TTFT) پر توجہ؛
Decode وسائل پول: بلند ہم وقتی صلاحیت اور ہر Token کی مستحکم تاخیر (ITL) پر توجہ۔
ہارڈویئر میں مرحلہ وار سرمایہ کاری کے ذریعے کمپیوٹنگ پاور کی ترتیب “عمومی فاضل صلاحیت” سے “ضرورت کے مطابق مطابقت” کی جانب منتقل ہوتی ہے، اور سروس لیول مقاصد (SLO) کی پابندیوں کو پورا کرتے ہوئے فی Token بنیادی ڈھانچے کی لاگت میں کمی حاصل کی جاتی ہے۔