Jifunze Usanifu wa Mifumo ya AI Hatua kwa Hatua: Kuanzia Uendeshaji wa LLM hadi Mawakala wa Uzalishaji

Mradi wa Usanifu wa Mfumo wa AI ni Nini?

Usanifu wa Mfumo wa AI ni mwongozo wa kielimu wa chanzo huria unaodumishwa na Amit Shekhar, mwanzilishi wa Outcome School. Unaeleza jinsi ya kuunda mfumo kamili unaozunguka modeli kubwa ya lugha badala ya kuichukulia bidhaa ya AI kama mwito mmoja tu wa API ya modeli.

Mwongozo unaunganisha vipengele vinavyojulikana vya usanifu wa mifumo kama vile hifadhidata, akiba, foleni, visawazisha mzigo, na lango na vikwazo mahususi vya AI kama vile GPU, tokeni, maombi yanayodumu kwa muda mrefu, matokeo yanayotumwa kwa mtiririko, tabia isiyotabirika, na gharama za modeli kwa kila ombi.

Usanifu wa Mfumo wa AI ni usanifu wa kawaida wa mifumo pamoja na vikwazo vipya vya kiutendaji vinavyoletwa na modeli za AI.

Nyenzo hii inalenga wahandisi wa AI, wahandisi wa LLM, wahandisi wa backend, wahandisi wa kujifunza kwa mashine, wahandisi wa majukwaa, wasanifu wa mifumo, wanafunzi, na yeyote anayejitayarisha kwa mahojiano ya usanifu wa mfumo wa AI.

Kwa Nini Usanifu wa Mfumo wa AI ni Muhimu

Kuita API ya LLM kutoka kwenye hati kunaweza kuhitaji mistari michache tu ya msimbo. Kuendesha kipengele hicho kwa watumiaji wengi ni tatizo tofauti. Mifumo ya uzalishaji lazima idhibiti ucheleweshaji, upitishaji, uaminifu, faragha, ubora wa matokeo, na gharama huku ikishughulikia vidokezo virefu na majibu yanayotumwa tokeni kwa tokeni.

Kwa mfano, msaidizi wa uzalishaji wa huduma kwa wateja huenda akahitaji:

• Kuanza kujibu haraka, hata trafiki inapoongezeka.
• Kuweka majibu katika muktadha wa hati za kampuni kupitia urejeshaji.
• Kuzuia taarifa za faragha kuvuja.
• Kushughulikia hitilafu za modeli, muda wa kusubiri kuisha, na vikomo vya kasi.
• Kupima ubora wa majibu licha ya matokeo yasiyotabirika.
• Kubaki ndani ya bajeti iliyobainishwa ya tokeni na miundombinu.

Hazina hii hupanga vipengele vya ujenzi vinavyohitajika kutatua matatizo haya na inaunganisha mada nyingi na makala zenye maelezo ya kina.

Mada na Vipengele Muhimu

Misingi ya uendeshaji wa modeli

Mwongozo unaanza na tokeni, seva za uendeshaji wa modeli, injini za uendeshaji wa modeli, na maunzi ya AI kama vile GPU, TPU, na LPU. Unaeleza kwamba LLM huzalisha maandishi kwa mtindo wa autoregressive, ikitabiri tokeni moja kisha kutumia matokeo hayo inapotabiri tokeni inayofuata.

Pia unatambulisha awamu mbili kuu za uendeshaji wa modeli:

• Prefill: kuchakata kidokezo cha ingizo na kuunda hali ya ndani inayohitajika kwa uzalishaji.
• Decode: kuzalisha jibu tokeni moja kwa wakati.

Awamu hizi huathiri muda hadi tokeni ya kwanza, tokeni kwa sekunde, upitishaji, na chaguo za miundombinu. Mwongozo pia unashughulikia prefill iliyogawanywa vipande na kutenganisha mzigo wa prefill na decode.

Upanuzi, uelekezaji, na akiba

Sehemu za upanuzi zinashughulikia upanuzi wima, upanuzi mlalo, usambamba wa tensor, usambamba wa pipeline, upanuzi wa kiotomatiki, ukadiriaji wa GPU, na ukadiriaji wa gharama. Mbinu mahususi za AI za kusawazisha mzigo zinajumuisha tokeni chache zaidi ambazo bado hazijakamilika, uelekezaji unaotambua kiambishi awali, na vipindi vinavyobaki kwenye seva ileile.

Nyenzo kuhusu akiba hutofautisha tabaka kadhaa:

• Akiba ya KV kwa kutumia tena funguo na thamani za umakini wakati wa uzalishaji.
• Akiba ya kidokezo kwa viambishi awali vya vidokezo vinavyorudiwa.
• Akiba ya kisemantiki kwa hoja zenye maana zinazofanana.
• Akiba ya embedding kwa kuepuka kukokotoa embedding tena.

Uelekezaji wa modeli pia unashughulikiwa, ukiwemo unaotegemea sheria, kiainishaji, embedding, LLM, na mfululizo wa hatua.

Urejeshaji na usimamizi wa muktadha

Mwongozo unaeleza embedding, hifadhidata za vekta, faharasa za vekta, na uzalishaji unaosaidiwa na urejeshaji, unaojulikana kwa kifupi kama RAG. Mchakato wake wa urejeshaji unajumuisha kuchanganua hati, kuingiza data, kugawa vipande, utafutaji mseto, ubadilishaji wa hoja wa HyDE, kupanga upya, ColBERT, Agentic RAG, GraphRAG, na RAG isiyotumia vekta.

Pia unashughulikia vikwazo vya ukubwa wa muktadha kupitia kufupisha, kutengeneza muhtasari, madirisha yanayoteleza, kubana, na kumbukumbu ya kihierarkia. Dhana zinazohusiana zinajumuisha kuoza kwa muktadha, tabia ya kupotea katikati, kuoza kwa RoPE, na uhandisi wa muktadha.

Wakala na mifumo ya mawakala wengi

Sehemu za mawakala zinachunguza sehemu kuu za wakala wa AI, mizunguko ya wakala kutoka mwanzo hadi mwisho, kuita zana, matokeo yaliyopangwa, kumbukumbu, na hali za kawaida za kushindwa. Pia zinatofautisha uratibu wa AI wa kiagizo kutoka kwa tabia ya wakala inayojitegemea zaidi.

Mada za ziada zinajumuisha Model Context Protocol, au MCP, Ujuzi wa Mawakala, mawakala wa kutumia kompyuta, mawakala wa kivinjari, uhandisi wa mizunguko, uhandisi wa grafu, mawakala wasaidizi, mifumo ya uratibu, na itifaki ya Agent2Agent.

Uendeshaji wa uzalishaji

Hazina hii inapita zaidi ya miito ya modeli na kushughulikia masuala ya uzalishaji kama vile:

• Utumaji wa mtiririko kupitia Server-Sent Events au WebSockets.
• Usindikaji wa asincroni na foleni za ujumbe kwa kazi ndefu.
• Vikomo vya kasi kulingana na maombi, tokeni, upatanisho, au gharama.
• Malango ya AI na usanifu wa wapangaji wengi.
• Vizuizi vya usalama, ulinzi dhidi ya sindano za vidokezo, na majaribio ya AI ya red team.
• Uondoaji wa PII, mahali data inakohifadhiwa, kumbukumbu za ukaguzi, na vifungu vya uzingatiaji.
• Ufuatiliaji, uonekano wa mfumo, tathmini, na mtiririko wa kazi wa LLM kama mwamuzi.
• Muda wa kusubiri, majaribio tena yenye ongezeko la muda, modeli mbadala, na kupunguza huduma kwa utaratibu.

Pia inashughulikia uboreshaji wa uendeshaji wa modeli kama vile quantization, batching endelevu, decoding ya kubahatisha, Flash Attention, Mixture of Experts, distillation ya modeli, na Grouped Query Attention.

Usakinishaji na Usanidi

Hazina hii ni mwongozo wa kujifunza badala ya maktaba ya programu, kwa hiyo haihitaji usakinishaji wa vifurushi, ufunguo wa API, au mazingira ya uendeshaji. Unaweza kuisoma moja kwa moja kwenye GitHub.

Ili kuhifadhi nakala ya ndani, kloni hazina kwa kutumia Git:

git clone https://github.com/amitshekhariitbhu/ai-system-design.git
cd ai-system-design

Fungua README katika kitazamaji cha Markdown au kihariri kinachoweza kuonyesha Markdown. Kwa kuwa mwongozo unaendelea kupanuliwa, sasisha nakala yako ya ndani mara kwa mara:

git pull

Hakuna amri ya kujenga iliyoelezwa katika README. Kazi kuu ya usanidi ni kuchagua njia ya kujifunza na kutumia jedwali la yaliyomo kuvinjari kati ya dhana.

Jinsi ya Kutumia Mwongozo

Chaguo la 1: Fuata njia kamili ya kujifunza

Ikiwa wewe ni mgeni katika usanifu wa mifumo ya AI, soma mwongozo kwa mfuatano. Maendeleo ya dhana yanayopendekezwa ni:

1. Jifunze tokeni, seva za inference, na maunzi ya AI.
2. Elewa prefill, decode, latency, na throughput.
3. Jifunze kuhusu scaling, makadirio, na kusawazisha mzigo.
4. Linganisha mikakati ya caching na uelekezaji wa modeli.
5. Jifunze embeddings, hifadhidata za vekta, na RAG.
6. Jifunze usimamizi wa context window.
7. Chunguza utiririshaji, foleni, udhibiti wa kiwango, na gateways.
8. Jifunze agents, tools, MCP, structured output, na memory.
9. Endelea kwenye mifumo ya mawakala wengi, multimodal, na sauti.
10. Ongeza guardrails, faragha, observability, na evaluation.
11. Jifunze udhibiti wa gharama, miundombinu ya fine-tuning, na uboreshaji wa inference.
12. Tumia mfumo wa repository wa kutatua matatizo ya usanifu wa mifumo.

Chaguo la 2: Jitayarishe kwa mahojiano

Kwa maandalizi ya mahojiano, anza na sehemu kuhusu kutatua tatizo lolote la usanifu wa mfumo wa AI. Kisha pitia tena vipengele vya kiufundi vinavyohitajika kwa kila uamuzi wa usanifu. Mfumo huu unafuata hatua nane:

1. Mahitaji: tambua watumiaji, kiwango, malengo ya latency, mahitaji ya faragha, na vikwazo.
2. Lengo la AI: fafanua kile ambacho modeli lazima itimize.
3. Maandalizi ya data: bainisha jinsi data chanzo inavyokusanywa, kuchanganuliwa, kusafishwa, na kuwekewa faharasa.
4. Usanifu wa usanifu: panga gateways, huduma, modeli, retrieval, cache, foleni, na hifadhi.
5. Uteuzi wa modeli na prompting: chagua modeli na mikakati ya prompt kulingana na ubora, latency, na gharama.
6. Tathmini: fafanua jinsi matokeo na tabia ya mfumo vitakavyopimwa.
7. Usambazaji na utoaji wa huduma: panga inference, scaling, utiririshaji, na uimara.
8. Ufuatiliaji: fuatilia ubora, latency, hitilafu, matumizi ya tokeni, na gharama.

Chaguo la 3: Itumie kama marejeleo

Ikiwa tayari unatengeneza programu za AI, tumia jedwali la yaliyomo kama marejeleo. Kwa mfano, rejelea sehemu za caching unapopunguza ukokotoaji unaojirudia, sehemu za RAG wakati ubora wa retrieval ni dhaifu, au sehemu za observability na evaluation wakati mfumo unafanya kazi kiufundi lakini ubora wa majibu yake hauko wazi.

Mfano wa Msingi wa Matumizi: Kubuni Msaidizi wa Usaidizi

Repository hii si framework inayotekelezeka, kwa hiyo “matumizi” yanamaanisha kutumia dhana zake kutatua tatizo la usanifu. Fikiria msaidizi wa huduma kwa wateja anayepaswa kujibu maswali kutoka kwenye nyaraka za kampuni binafsi.

1. Fafanua mahitaji

Andika mahitaji ya kiutendaji na kiutendaji kabla ya kuchagua modeli:

Kesi ya matumizi: kujibu maswali ya huduma kwa wateja
Chanzo cha maarifa: nyaraka binafsi za bidhaa na sera
Njia ya majibu: maandishi yanayotiririshwa
Sharti la ubora: majibu yaegemee nyaraka zilizorejeshwa
Sharti la usalama: hakuna uvujaji wa data binafsi
Malengo ya uendeshaji: latency ndogo, gharama inayodhibitiwa, ustahimilivu wa hitilafu

Ongeza trafiki inayotarajiwa, urefu wa prompt, urefu wa matokeo, concurrency ya kilele, na latency inayokubalika wakati vipimo halisi vinapatikana. Thamani hizi huongoza makadirio ya tokeni, GPU, throughput, na gharama.

2. Chora njia ya ombi

Usanifu wa kiwango cha juu ulioundwa kutoka kwenye vipengele vya mwongozo unaweza kuwakilishwa hivi:

Mteja
  -> AI Gateway
  -> Uthibitishaji na udhibiti wa kiwango
  -> Guardrails za ingizo na ushughulikiaji wa PII
  -> Mchakato wa retrieval
       -> Embedding ya swali
       -> Utafutaji wa vekta au mseto
       -> Upangaji upya
  -> Uundaji wa prompt
  -> Router ya modeli au seva ya inference
  -> Uthibitishaji wa matokeo na guardrails
  -> Jibu linalotiririshwa
  -> Tracing, evaluation, na ufuatiliaji wa gharama

Hii ni laha ya kazi ya usanifu, si msimbo unaotolewa na repository. Kila kipengele kinalingana na mada inayoshughulikiwa na mwongozo.

3. Sanifu mchakato wa retrieval

Changanua na ingiza nyaraka chanzo, zigawanye katika vipande vinavyofaa, tengeneza embeddings, na uhifadhi uwakilishi unaoweza kutafutwa. Wakati wa swali, rejesha vipande vinavyohusiana na uzingatie utafutaji mseto au upangaji upya wakati ufanano wa vekta pekee hautoi uhusiano wa kutosha.

Hakikisha muktadha wa mwisho unabaki ndani ya context window ya modeli. Mikakati ya usimamizi wa muktadha katika mwongozo inaweza kusaidia wakati nyenzo zilizorejeshwa, historia ya mazungumzo, na maelekezo zinashindania nafasi.

4. Panga latency na utiririshaji

Pima muda hadi tokeni ya kwanza kando na kasi ya uzalishaji. Prefill huathiri jinsi uzalishaji unavyoweza kuanza haraka, huku decode ikiathiri jinsi tokeni zinazofuata zinavyowasili. Kutiririsha kupitia SSE au WebSockets kunaweza kuboresha mwitikio unaotambuliwa bila kupunguza ukokotoaji wa msingi wa modeli.

5. Ongeza uaminifu na usalama

Tumia timeouts, retries zenye backoff, modeli za fallback, upunguzaji wa huduma kwa utaratibu, na uthibitishaji wa matokeo. Weka guardrails za ingizo na matokeo kuizunguka modeli, jilinde dhidi ya prompt injection, ficha PII inapohitajika, na hifadhi logi zinazofaa za ukaguzi.

6. Tathmini na fuatilia

Fuatilia ombi zima badala ya kufuatilia tu mwito wa modeli. Vipimo muhimu kutoka kwenye mwongozo vinajumuisha latency, throughput, matumizi ya tokeni, gharama, tabia ya retrieval, ubora wa matokeo ya modeli, utekelezaji wa tools, na tabia ya agent. Kwa kuwa matokeo ya LLM si ya kubainika, tathmini inahitaji zaidi ya majaribio ya kawaida ya unit yenye ulinganifu kamili.

Vidokezo vya Juu

Boreshwa awamu sahihi ya ucheleweshaji

Usichukulie ucheleweshaji wa modeli kama nambari moja. Tambua ikiwa kikwazo kiko kwenye kujaza awali, usimbaji, urejeshaji, kupanga foleni, au zana ya nje. Muda wa kupata tokeni ya kwanza na idadi ya tokeni kwa sekunde huwakilisha matumizi tofauti kwa mtumiaji na huenda ukahitaji maboresho tofauti.

Elekeza maombi badala ya kutumia modeli moja kwa kila kitu

Mwongozo unaonyesha mikakati kadhaa ya kuelekeza maombi kwenye modeli. Muundo wa uzalishaji unaweza kuainisha maombi na kuelekeza kazi rahisi kwenye modeli ya bei nafuu, huku ukiihifadhi modeli yenye uwezo zaidi kwa hali ngumu. Uelekezaji wa mfululizo unaweza kuhamisha ombi kwenye hatua ya juu zaidi wakati jibu la awali halitoshelezi.

Tumia uhifadhi wa muda kwenye safu sahihi

Akiba za KV, vidokezo, kisemantiki, na embeddings hutatua matatizo tofauti. Kwanza tambua kinachojirudia: hali ya uzalishaji, viambishi awali vya vidokezo, maswali yenye maana sawa, au ukokotoaji wa embeddings. Kisha chagua akiba inayolingana na uzingatie usahihi, usasishaji, faragha, na mipaka ya wapangaji.

Chukulia ubora wa urejeshaji kama mchakato mzima

Ubora wa RAG hautegemei hifadhidata ya vekta pekee. Uchanganuzi, ukataji vipande, embeddings, ubadilishaji wa hoja ya utafutaji, utafutaji mseto, upangaji upya, na uundaji wa muktadha vyote huathiri jibu la mwisho. Tathmini matokeo ya urejeshaji ya kati kabla ya kuilaumu modeli ya lugha.

Tumia mawakala pale tu mtiririko wa kazi unapowahitaji

Tofautisha upangaji unaotabirika na wakala anayechagua zana au vitendo kwa nguvu. Mwongozo pia unaonyesha kuwa MCP inaweza kuwa muhimu kwa ujumuishaji sanifu wa zana na muktadha, lakini inaweza kuwa nyingi kupita kiasi kwa mtiririko rahisi wa kazi. Chagua mbinu yenye ugumu mdogo zaidi inayokidhi mahitaji.

Kadiria tokeni, GPU, na gharama mapema

Makadirio ya haraka yanaonyesha dhana ghali kabla ya utekelezaji. Kadiria tokeni za ingizo na tokeo kwa kila ombi, kiasi cha maombi, ulinganifu wa maombi, mahitaji ya upitishaji, na gharama inayotarajiwa ya modeli. Kumbuka kuwa maandishi ya Kiingereza huwa na wastani wa takriban herufi nne kwa kila tokeni, ingawa ugawaji halisi wa tokeni hutegemea kigawaji cha tokeni cha modeli.

Eleza kila mada kwa maneno yako mwenyewe

README inapendekeza kueleza kila sehemu iliyokamilishwa kwa mtu mwingine. Upanuzi muhimu ni kuandika sababu ya kila chaguo la usanifu: kwa nini foleni ni muhimu, kwa nini akiba fulani husaidia, kwa nini modeli ya akiba inakubalika, na jinsi chaguo hilo linavyoathiri ubora, ucheleweshaji, usalama, au gharama.

Mpango Unaopendekezwa wa Mazoezi

1. Soma sehemu moja kuu ya mwongozo.
2. Fanya muhtasari wa madhumuni na mabadilishano yake bila kuangalia maandishi.
3. Ongeza kipengele hicho kwenye usanifu wa mfano.
4. Weka angalau kipimo kimoja cha kipengele hicho.
5. Eleza hali moja ya kushindwa na njia moja ya kupunguza athari zake.
6. Fuata makala ya uchambuzi wa kina iliyounganishwa wakati muhtasari hautoshi.
7. Rudia zoezi hilo kwa tafiti kifani kama wasaidizi wa kuandika msimbo au mawakala wa sauti wa wakati halisi.

Mbinu hii hubadilisha hazina kutoka orodha ya marejeo kuwa mtaala wa vitendo wa usanifu.

Hitimisho

AI System Design hutoa njia pana na rafiki kwa wanaoanza, kutoka misingi ya uelekezaji wa LLM hadi masuala ya uzalishaji kama RAG, mawakala, usalama, tathmini, ufuatiliaji, ustahimilivu wa hitilafu, na uboreshaji wa gharama. Si kifurushi cha kusakinisha; ni mwongozo uliopangwa wa kuelewa jinsi vipengele vya AI vinavyofanya kazi pamoja.

Anza na misingi ikiwa wewe ni mgeni, au anza na mfumo wa hatua nane wa usanifu ikiwa unajiandaa kwa mahojiano. Kwa hali yoyote, tumia kila dhana kwenye mfumo halisi, pima athari yake, na uandike mabadilishano yaliyo nyuma ya maamuzi yako.