Moore Threads imezindua rasmi “White Paper ya Teknolojia ya MTT S5000 Prefill-as-a-Service”, na kutangaza dhana mpya ya “Prefill As a Service” inayotumia kadi ya kompyuta ya akili ya MTT S5000, yenye uwezo wa pamoja wa mafunzo na uelekezaji wa AI, ikilenga hali za uelekezaji wenye muktadha mrefu kama vile AI Agent, uzalishaji wa msimbo na uchanganuzi wa hati ndefu sana, na kutoa kwa sekta njia inayotekelezeka inayosawazisha ufanisi wa uelekezaji, udhibiti wa gharama na uuzaji wa uwezo wa kompyuta.
Kulingana na Moore Threads, kadiri ukubwa wa muktadha wa ingizo la miundo mikubwa unavyoongezeka kwa kasi hadi mamia ya K hadi kiwango cha 1M, matumizi ya uwezo wa kompyuta na shinikizo la muda wa kutoa herufi ya kwanza yanayosababishwa na ingizo la maandishi marefu vinaendelea kuongezeka. Hali hii inakuwa kikwazo muhimu kinachozuia ufanisi wa huduma za uelekezaji wa biashara na gharama yake yote ya umiliki (TCO). Muundo wa jadi wa kupeleka uwezo wa kompyuta katika klasta zenye usanifu mmoja hauwezi tena kukidhi mahitaji tofauti ya rasilimali za vifaa katika hatua mbalimbali za ukokotoaji.
Kiini cha tatizo ni kutolingana kwa kimuundo: katika uelekezaji wa mtandaoni wa miundo mikubwa, hatua ya ingizo ya Prefill (ujazaji wa awali) ni kazi inayotawaliwa na ukokotoaji na huzuiwa na uwezo wa ukokotoaji wa namba zinazoelea; hatua ya utoaji ya Decode (usimbuaji) ni kazi inayotawaliwa na ufikiaji wa kumbukumbu na huzuiwa na kipimo data cha kumbukumbu ya video.
Kuzendesha zote katika dimbwi moja la rasilimali za kimwili husababisha upotevu wa pande zote mbili: ikiwa vifaa vinachaguliwa kwa kuzingatia kipimo data cha Decode, kumbukumbu kubwa ya Prefill hubaki bila kutumika kwa ufanisi kwa muda mrefu; ikiwa vinachaguliwa kwa kuzingatia uwezo wa ukokotoaji wa Prefill, vitengo vya ukokotoaji vya Decode hubaki bila kazi kwa kiwango kikubwa. White Paper inaonyesha kuwa ufunguo wa kuvunja kikwazo hiki ni kutenganisha kabisa Prefill na Decode, ili kila moja iendeshe katika dimbwi la rasilimali za vifaa linalolingana zaidi na sifa zake za ukokotoaji:
Dimbwi la uwezo wa ukokotoaji wa Prefill: hulenga matumizi ya juu ya uwezo wa ukokotoaji na muda wa chini sana wa kutoa herufi ya kwanza (TTFT);
Dimbwi la rasilimali za Decode: hulenga ulinganifu wa juu na muda thabiti wa kila Token (ITL).
Kwa kuweka uwekezaji wa vifaa katika viwango tofauti, usanidi wa uwezo wa kompyuta hubadilika kutoka “ziada ya matumizi ya jumla” hadi “ulinganifu kulingana na mahitaji”. Kwa kutimiza masharti ya ubora wa huduma (SLO), gharama ya miundombinu kwa kila Token hupunguzwa.