মোয়ার থ্রেড আনুষ্ঠানিকভাবে 《MTT S5000 Prefill-as-a-Service প্রযুক্তিগত শ্বেতপত্র》 প্রকাশ করেছে এবং ঘোষণা করেছে যে ফ্ল্যাগশিপ AI প্রশিক্ষণ ও ইনফারেন্স সমন্বিত কম্পিউটিং কার্ড MTT S5000-এর ভিত্তিতে “Prefill As a Service” নতুন মডেল তৈরি করা হয়েছে। AI Agent, কোড জেনারেশন ও অতি-দীর্ঘ নথি বিশ্লেষণসহ দীর্ঘ-কনটেক্সট ইনফারেন্সের ক্ষেত্রে এটি শিল্পকে ইনফারেন্স দক্ষতা, খরচ নিয়ন্ত্রণ ও কম্পিউটিং শক্তির বাণিজ্যিকীকরণের সমন্বিত বাস্তবায়নযোগ্য পথ দেবে।
মোয়ার থ্রেডের মতে, বড় মডেলের ইনপুট কনটেক্সটের আকার দ্রুত কয়েক শ K থেকে 1M স্তরে পৌঁছানোর সঙ্গে দীর্ঘ টেক্সট ইনপুটের কারণে কম্পিউটিং শক্তির ব্যবহার ও প্রথম টোকেন পাওয়ার বিলম্ব ক্রমাগত বাড়ছে। এটি ধীরে ধীরে প্রতিষ্ঠানের ইনফারেন্স পরিষেবার দক্ষতা ও মোট মালিকানা খরচ (TCO) সীমিত করার গুরুত্বপূর্ণ bottleneck হয়ে উঠছে। প্রচলিত সমজাতীয় ক্লাস্টারভিত্তিক কম্পিউটিং শক্তি স্থাপনের পদ্ধতি বিভিন্ন গণনা পর্যায়ের হার্ডওয়্যার সম্পদের ভিন্নতর চাহিদা পূরণে আর যথেষ্ট নয়।
মূল সমস্যা হলো কাঠামোগত অমিল: বড় মডেলের অনলাইন ইনফারেন্সে ইনপুট পর্যায়ের Prefill (প্রি-ফিল) একটি কম্পিউটেশন-নিবিড় কাজ, যা ফ্লোটিং-পয়েন্ট কম্পিউটিং শক্তি দ্বারা সীমাবদ্ধ; আউটপুট পর্যায়ের Decode (ডিকোড) একটি মেমরি-অ্যাক্সেস-নিবিড় কাজ, যা ভিডিও মেমরির ব্যান্ডউইথ দ্বারা সীমাবদ্ধ।
একই ভৌত সম্পদ পুলে দুটিকে একসঙ্গে চালালে উভয় দিকেই অপচয় অনিবার্য হবে। Decode-এর ব্যান্ডউইথ অনুযায়ী হার্ডওয়্যার নির্বাচন করলে Prefill-এর বৃহৎ মেমরি দীর্ঘ সময় কম ব্যবহৃত থাকবে; Prefill-এর কম্পিউটিং শক্তি অনুযায়ী নির্বাচন করলে Decode-এর কম্পিউটিং ইউনিটের বড় অংশ নিষ্ক্রিয় থাকবে। শ্বেতপত্রে বলা হয়েছে, এই bottleneck অতিক্রমের মূল চাবিকাঠি হলো Prefill ও Decode-কে সম্পূর্ণ আলাদা করা, যাতে উভয়টি নিজ নিজ গণনাগত বৈশিষ্ট্যের সঙ্গে সবচেয়ে সামঞ্জস্যপূর্ণ হার্ডওয়্যার সম্পদ পুলে চলে:
Prefill কম্পিউটিং পুল: উচ্চ কম্পিউটিং শক্তি ব্যবহারের হার ও অত্যন্ত কম প্রথম টোকেন বিলম্ব (TTFT)-এ বিশেষায়িত;
Decode সম্পদ পুল: উচ্চ সমান্তরালতা ও স্থিতিশীল প্রতি-Token বিলম্ব (ITL)-এ বিশেষায়িত।
হার্ডওয়্যারে স্তরভিত্তিক বিনিয়োগের মাধ্যমে কম্পিউটিং শক্তির কনফিগারেশন “সাধারণ অতিরিক্ত সক্ষমতা” থেকে “চাহিদা অনুযায়ী সামঞ্জস্য”-এ রূপান্তরিত হয়। পরিষেবার মান (SLO) বজায় রেখে প্রতি Token অবকাঠামো খরচ কমানো সম্ভব হয়।