Jifunze Uhandisi wa Uendeshaji wa LLM Kuanzia Misingi

Uhandisi wa Utabiri wa Inferensi: Kuanzia Sifuri hadi Bingwa ni Nini?

Uhandisi wa Utabiri wa Inferensi: Kuanzia Sifuri hadi Bingwa ni hazina ya kozi ya vitendo ya kuelewa mifumo ya wakati wa utekelezaji inayotumika kuhudumia miundo mikubwa ya lugha. Badala ya kulenga kufundisha au kuboresha ubora wa modeli, inachunguza kinachotokea baada ya ombi kufikia LLM.

Mradi unaanza na shughuli ndogo zaidi za inferensi zenye manufaa, kisha unaelekea hatua kwa hatua kwenye mfumo mdogo wa wakati wa utekelezaji wa inferensi. Maendeleo yaliyokusudiwa ni:

tokenization → prefill → decode → akiba ya KV → sampuli → hali ya ombi → upangaji → kupanga kwa mafungu endelevu → usimamizi wa kumbukumbu → mambo ya ndani ya injini ya huduma

Mbinu ya kuanza na utekelezaji inasisitiza kuchunguza tensori, matokeo yaliyotengenezwa, hali ya akiba na matumizi ya kumbukumbu moja kwa moja. Hii husaidia kuunganisha utendaji wa modeli na masuala ya vitendo ya utoaji huduma kama vile ucheleweshaji, upitishaji, matumizi ya GPU na matumizi ya kumbukumbu.

Utajifunza Nini

Kozi hii imeundwa kukuza mtazamo wa kimfumo kuhusu inferensi ya LLM. Mada zake kuu ni pamoja na:

• Tokenization: jinsi dodoso linavyogeuzwa kuwa vitambulisho vya tokeni vinavyotumiwa na modeli.
• Prefill: jinsi modeli inavyoshughulikia dodoso la mwanzo na kuunda hali inayohitajika kwa utengenezaji.
• Decode: jinsi tokeni zinazofuata zinavyotengenezwa hatua moja baada ya nyingine.
• Uakibishaji wa KV: jinsi hali ya umakini inavyokua na kuzuia ukokotoaji usio wa lazima.
• Usampulishaji: jinsi tokeni inavyochaguliwa kutoka kwenye alama za matokeo ya modeli.
• Hali ya ombi: jinsi mfumo wa wakati wa utekelezaji unavyofuatilia madodoso, tokeni zilizotengenezwa na hali ya kukamilika.
• Upangaji: jinsi injini inavyoamua ni maombi gani yashughulikiwe.
• Upangaji kwa mafungu endelevu: jinsi maombi yanayotumika yanavyoweza kuunganishwa kwa ufanisi yanapoingia na kutoka kwenye mfumo.
• Usimamizi wa kumbukumbu: mahali ambapo kumbukumbu ya GPU inatumiwa na jinsi mpangilio wa akiba unavyoathiri uwezo.
• Mambo ya ndani ya injini ya huduma: jinsi utekelezaji wa modeli unavyozungukwa na mifumo inayoboresha ufanisi.

Hali na Muundo wa Kozi

Hazina imegawanywa katika viwango vya Mwanzo, Kati na Juu. Kwa sasa, mkondo wa Mwanzo unaendelea. Nyenzo za kiwango cha Kati na Juu bado hazipatikani.

Sura Inayopatikana

• Sura ya 01: Inferensi ya Mwongozo ya LLM Kutoka kwa Misingi ya Kwanza — inapatikana katika beginner/01_manual_llm_inference/.

Sura za Mwanzo Zilizopangwa

1. Usampulishaji
2. Hali ya Ombi
3. Mpangaji Rahisi
4. Upangaji kwa Mafungu Endelevu
5. Usimamizi wa Akiba ya KV
6. Akiba ya KV Iliyogawanywa kwa Kurasa au Vitalu
7. Uakibishaji wa Kiambishi awali
8. Kupima Utendaji wa Inferensi

Ramani ya maendeleo imekusudiwa kubaki yenye kubadilika. Sura zinaweza kuongezwa, kuondolewa, kugawanywa au kupangwa upya kadiri kazi ya utekelezaji inavyofichua matatizo mapya.

Usakinishaji na Usanidi

README ya hazina haitoi amri maalum ya kusakinisha vitegemezi wala maelezo ya mazingira. Anza kwa kupakua au kufanya kloni ya hazina, kisha kagua faili na maelekezo yaliyojumuishwa na Sura ya 1 kabla ya kusakinisha au kuendesha chochote.

1. Pata nakala ya ndani ya hazina ya GitHub.
2. Fungua saraka ya hazina katika terminali, kihariri au mazingira ya daftari.
3. Nenda kwenye beginner/01_manual_llm_inference/.
4. Soma maelekezo yoyote mahususi ya sura na tambua daftari lililo katika saraka hiyo.
5. Sakinisha vitegemezi vinavyoombwa na nyenzo za sura pekee.
6. Fungua daftari na utekeleze visanduku vyake kwa mpangilio.

beginner/01_manual_llm_inference/

Kwa kuwa README haitaji matoleo kamili ya vifurushi, mahitaji ya maunzi au amri za usakinishaji, tumia daftari la sura kama chanzo chenye mamlaka kuhusu usanidi wake wa wakati wa utekelezaji.

Matumizi ya Msingi: Fanya Kazi Kupitia Inferensi ya Mwongozo

Sura ya 1 ndiyo sehemu inayopendekezwa kuanzia. Lengo lake ni kuchunguza inferensi ya mwongozo ya LLM kutoka kwenye misingi ya kwanza, badala ya kuficha utengenezaji nyuma ya API kamili ya huduma.

Hatua ya 1: Fuata Daftari kwa Mpangilio

Endesha daftari kuanzia mwanzo hadi mwisho. Epuka kuruka visanduku vya usanidi au uchunguzi, kwa sababu shughuli za baadaye zinaweza kutegemea objekti za modeli, pembejeo zilizotenganishwa kuwa tokeni au hali iliyohifadhiwa iliyoundwa awali.

Hatua ya 2: Fuatilia Dodoso

Angalia jinsi dodoso la pembejeo linavyobadilika linapopitia mchakato wa inferensi. Ufuatiliaji wa kimawazo unaofaa ni:

maandishi ya dodoso
→ vitambulisho vya tokeni
→ uchakataji wa dodoso au prefill
→ alama za tokeni inayofuata
→ tokeni iliyochaguliwa
→ mfuatano uliosasishwa
→ usimbuaji unaorudiwa

Rekodi maumbo ya tensori na idadi ya tokeni kila mara daftari linapozionyesha. Hii hurahisisha kuona tofauti kati ya kuchakata dodoso zima na kutengeneza tokeni moja ya ziada.

Hatua ya 3: Tenganisha Prefill na Decode

Prefill huchakata dodoso na kuanzisha hali inayohitajika kwa utengenezaji. Decode hutengeneza tokeni za ziada hatua kwa hatua. Kuzichukulia kama hatua tofauti ni muhimu kwa sababu zina sifa tofauti za kikokotoaji na kumbukumbu.

Unapoendesha daftari, jiulize:

• Ni tokeni ngapi za pembejeo hushughulikiwa wakati wa prefill?
• Ni pembejeo gani hupitishwa katika kila hatua ya decode?
• Ni tensori zipi hubadilika baada ya tokeni mpya kutengenezwa?
• Ni hali gani inaweza kutumiwa tena badala ya kukokotolewa upya?

Hatua ya 4: Kagua Matokeo Moja kwa Moja

Linganisha vitambulisho vya tokeni na maandishi yaliyotengenezwa, na kagua matokeo ya kati pale daftari linaporuhusu. Lengo si kutengeneza maandishi pekee, bali kuelewa mfuatano wa shughuli unaohusika na maandishi hayo.

Kuelewa Muundo wa Wakati wa Utekelezaji

Njia muhimu ya kuikaribia hazina hii ni kuchukulia utengenezaji kama mzunguko wenye hali badala ya mwito mmoja wa modeli:

andaa ombi
chakata kidokezo
hifadhi hali inayoweza kutumika tena
chagua tokeni inayofuata
sasisha hali ya ombi
rudia hadi kukamilika

Mtazamo huu unakuandaa kwa sura zijazo. Usampulishaji huamua tokeni itakayochaguliwa, hali ya ombi hufuatilia kila uzalishaji, upangaji huchagua kazi, na uunganishaji endelevu wa makundi huunganisha kazi kutoka kwa maombi mengi yanayoendelea.

Vidokezo vya Juu vya Kujifunza

Fuatilia Maumbo, Hali na Kumbukumbu Pamoja

Usichunguze tenzori peke yake. Kwa kila operesheni muhimu, andika umbo la ingizo, umbo la towe, urefu wa mfuatano, hali ya akiba, na ukuaji unaotarajiwa wa kumbukumbu. Hii huunganisha utekelezaji wa kihisabati wa modeli na tabia ya mfumo.

Linganish­a Urefu wa Kidokezo na Urefu wa Ubadukuaji

Sura inapokuruhusu kubadilisha maingizo, linganisha vidokezo vifupi na virefu, pamoja na uzalishaji mfupi na mirefu. Angalia gharama zinazotokea wakati wa kujaza awali na zile zinazojilimbikiza wakati wa ubadukuaji. Usidhani hitimisho la vipimo vya utendaji linazidi kile ambacho vipimo vyako vinaonyesha.

Unda Jedwali la Hali ya Ombi

Kabla ya sura maalum ya hali ya ombi kupatikana, unaweza kupanga uchunguzi kwa sehemu kama vile:

• Vitambulisho vya tokeni za ingizo
• Vitambulisho vya tokeni zilizozalishwa
• Urefu wa sasa wa mfuatano
• Hali ya akiba
• Hali ya uzalishaji

Hii ni mbinu ya kujifunza badala ya kipengele kilichoahidiwa na hazina ya sasa. Inasaidia kufichua kwa nini injini za uingizaji zinahitaji mifumo inayozunguka modeli yenyewe.

Pima Kabla ya Kuboresha

Ramani ya maendeleo inajumuisha sura iliyopangwa kuhusu upimaji wa utendaji wa uingizaji. Hadi ipatikane, dhibiti majaribio: badilisha ingizo moja au sharti moja la uzalishaji kwa wakati mmoja, rekodi uchunguzi, na tenga tabia iliyopimwa na makadirio.

Rudia Sura Zilizotangulia

Sura za usampulishaji, upangaji, uunganishaji wa makundi, na usimamizi wa akiba zinapoongezwa, rudi kwenye uingizaji wa mikono. Husisha kila dhana mpya na mzunguko wa awali wa uzalishaji wa tokeni ili maboresho yabaki yamejikita katika utekelezaji halisi wa modeli.

Vikomo vya Sasa

Kwa sasa, ni sura ya kwanza ya Mwanzoni pekee iliyoorodheshwa kuwa inapatikana. Usampulishaji, vipangaji, uunganishaji endelevu wa makundi, mikakati ya usimamizi wa akiba, upimaji wa utendaji, pamoja na njia za Kati na Juu bado zimepangwa. Kwa hivyo, hazina inapaswa kuchukuliwa kuwa kozi inayoendelea badala ya mfumo kamili wa injini ya uingizaji.

Hitimisho

Inference Engineering Zero to Hero inatoa njia ya vitendo ya kuelewa upande wa utekelezaji wa LLM. Anza na beginner/01_manual_llm_inference/, endesha daftari kwa mpangilio, na zingatia jinsi vidokezo, tokeni, tenzori, na hali inayoweza kutumika tena zinavyopita katika uzalishaji. Msingi huu utafanya masomo yaliyopangwa kuhusu upangaji, uunganishaji wa makundi, kumbukumbu, na ndani ya injini za utoaji kuwa rahisi kuelewa.