Tengeneza Modeli Yako ya AI kwa Brewery: Mafunzo ya Hatua kwa Hatua ya Fine-Tuning

Brewery ni Nini?

Brewery ni wakala elekezi wa kurekebisha vizuri miundo ya lugha na picha. Unaeleza unachotaka kujenga katika mazungumzo na mwongozo wa AI unayemchagua, anayeitwa mtaalamu wa utengenezaji wa pombe. Brewery kisha hukusaidia kufafanua lengo, kuchagua modeli msingi, kuandaa data, kuchagua hyperparameter salama, kuendesha mafunzo, kujaribu matokeo, na kuchapisha modeli iliyokamilika.

Mtaalamu huyo anaweza kuwa Claude, modeli inayooana na OpenAI, OpenRouter, au modeli ya ndani inayoendeshwa kupitia Ollama au LM Studio. Brewery hubadilisha maelezo na zana zake kulingana na kiwango chako cha uzoefu: Mwanzo, Mpenda kujifunza, Mjenzi, au Mtaalamu.

Mafunzo yanaweza kuendeshwa kwenye GPU yako ya NVIDIA au AMD, au kwenye seva iliyokodishwa inayofikiwa kupitia SSH. Kompyuta ndogo inayoendesha Brewery inahitaji tu kufanya kazi kama ndege ya udhibiti wakati mafunzo yanafanyika kwingine.

Vipengele Muhimu

• Rekebisha vizuri modeli za maandishi zinazotumika kwa LoRA, QLoRA, au urekebishaji kamili.
• Funza modeli za maandishi kwa mafunzo endelevu ya awali, urekebishaji unaosimamiwa, na urekebishaji wa mapendeleo.
• Funza adapta za Qwen-Image 2.1 LoRA kwa mitindo, wahusika, na vitu.
• Ingiza data kutoka Hugging Face, faili za ndani, au mifano iliyoundwa na mtaalamu wa utengenezaji wa pombe.
• Kwa hiari, tengeneza data sintetiki au jozi za mapendeleo baada ya kukagua masharti ya mtoa huduma.
• Tumia Empero Trace Format, au ETF, kwa mazungumzo, miito ya zana, hoja, nyaraka za RAG, mapendeleo, maandishi ghafi, ukamilishaji, na picha.
• Kadiria kumbukumbu, muda, na gharama kabla ya mafunzo kuanza.
• Endesha mafunzo ndani au kwenye Runpod, Vast.ai, au seva nyingine ya SSH.
• Hamisha adapta au modeli zilizounganishwa pamoja na kadi ya modeli na faili za leseni zinazozalishwa.
• Pakia matokeo kwenye Hugging Face, kwa faragha kwa chaguo-msingi.

Sakinisha Brewery

Brewery husakinishwa kutoka hazina ya GitHub kwa kutumia pip:

pip install "brewery-ai @ git+https://github.com/empero-org/brewery-ai"

Anzisha programu kwa:

brewery

Mara ya kwanza inapotekelezwa, Brewery huuliza ni AI gani inapaswa kukuongoza na kuomba ufunguo wake wa API. Vitambulisho huhifadhiwa ndani kwenye faili zinazoweza kusomwa na wewe pekee. Usanidi pia huuliza kiwango chako cha uzoefu na jina la mradi kabla ya kuunda folda ya mradi.

Sakinisha Usaidizi wa Mafunzo kwa GPU ya Ndani

Ikiwa unapanga kufundisha kwenye GPU ya NVIDIA, sakinisha vipengele vya ziada vya mafunzo. Amri hii pia huleta toleo la PyTorch linalooana na CUDA:

pip install "brewery-ai[train] @ git+https://github.com/empero-org/brewery-ai"

Kwa GPU za AMD, sakinisha kwanza toleo la ROCm la PyTorch linalofaa, kisha sakinisha Brewery pamoja na vipengele vya mafunzo. Kwenye Windows, acha PIP_CONSTRAINT=constraints-windows-rocm.txt ikiwa imewekwa ili pip iache usakinishaji wa PyTorch wa AMD mahali pake.

Apple Silicon na mifumo inayotumia CPU pekee inafaa kwa majaribio madogo, huku mtaalamu wa utengenezaji wa pombe akikuongoza kukodisha GPU kwa modeli kubwa zaidi.

Anza Utengenezaji Wako wa Kwanza Unaoongozwa

Baada ya kuzindua brewery, eleza kwa lugha rahisi modeli unayotaka kujenga. Kwa mfano:

a chatbot that explains chemistry like a friendly pirate

Mtaalamu wa utengenezaji wa pombe hubadilisha wazo hili kuwa mpango halisi wa mafunzo. Anaweza kuzingatia tabia inayotakiwa, vifaa vilivyopo, ukubwa wa modeli, mbinu ya mafunzo, mahitaji ya data, gharama inayokadiriwa, na vikwazo vya leseni. Ikiwa kompyuta ya sasa haina GPU inayofaa, anaweza kupendekeza GPU ya 24 GB iliyokodishwa na kukadiria gharama ya takriban ya uendeshaji.

Vitendo vyote vinavyotumia pesa, kusakinisha programu, kutuma data kwingine, au kuchapisha modeli vinahitaji uthibitisho ndani ya Brewery. Mwongozo wa AI hauwezi kupita maombi hayo, na manenosiri, funguo za API, na tokeni hazipitishwi kupitia gumzo.

Fuata Mtiririko wa Kazi wa Brewery

1. Fafanua Lengo

Eleza modeli inachopaswa kufanya, mtindo unaopaswa kutumia, mada inazopaswa kujua, au zana na miundo ipi inapaswa kutumia. Endelea kujibu maswali ya mtaalamu wa utengenezaji wa pombe hadi lengo liwe mahususi vya kutosha kwa mafunzo na tathmini.

2. Chagua Kompyuta

Tumia brewery hardware kukagua mfumo wa sasa:

brewery hardware

Kabla ya mafunzo ya ndani, Brewery hufanya operesheni halisi ya GPU ili matatizo ya kiendeshi au PyTorch yaonekane kabla ya kazi ndefu kuanza. Kwa mafunzo ya mbali, Brewery husaidia kuandaa seva ya SSH, kupakia data inayohitajika, na kuendesha kazi ikiwa imejitenga ili iendelee ukifunga terminali yako.

3. Chagua Modeli Msingi

Brewery inasaidia familia za maandishi zikiwemo Qwen3, Qwen3.5, usanifu unaohusiana na Qwen, Qwen3.5 MoE, Llama 3.1 hadi 3.3, Gemma 3, na Gemma 4. Kwa mafunzo ya picha, inasaidia adapta za Qwen-Image 2.1 LoRA.

Tumia kivinjari cha modeli kukagua modeli msingi zinazopatikana:

brewery models --modality text
brewery models --modality image
brewery models --all

Mtaalamu wa utengenezaji wa pombe huzingatia lengo, vifaa, na mahitaji ya leseni. Pia hukagua ufikiaji wa modeli zenye vikwazo inapohitajika.

4. Andaa Data ya Mafunzo

Unaweza kutafuta na kuhakiki seti za data za Hugging Face bila kuzipakua, kuingiza faili za ndani, kuandika mifano pamoja na mtaalamu wa utengenezaji wa pombe, au kutumia seti ya data ya picha iliyopo. Data sintetiki ni ya hiari na huundwa kulingana na maelekezo yako. Brewery huonyesha masharti ya mtoa huduma kabla ya kuzalisha.

Kwa mfano, unaweza kumwomba mtaalamu wa utengenezaji wa pombe aandike upya seti ya data iliyopo kwa sauti maalum, aunde mazungumzo kutokana na maelekezo, au atengeneze jozi za mapendeleo kwa DPO. Safisha data iliyoingizwa kwa:

brewery etf validate path/to/data.jsonl

Ndani ya mradi, seti za mafunzo huhifadhiwa chini ya data/_sets/. Brewery inaweza kuondoa rekodi tupu, zilizorudiwa, au zilizoharibika huku ikiweka nakala ya akiba.

5. Chagua Mfumo wa Mafunzo

Kila kazi ina lengo na inaweza kuanza kutoka hatua ya awali:

• SFT: hufundisha modeli ya instruct tabia, mtindo, muundo au muundo wa kutumia zana.
• CPT kisha SFT: hufundisha modeli ya msingi kutoka kwa maandishi ghafi ya kikoa, kisha huifundisha kuingiliana kwa njia ya mazungumzo.
• SFT kisha DPO: kwanza hufundisha tabia inayotakiwa, kisha huboresha mapendeleo kwa kutumia jozi za majibu zilizochaguliwa.

Hatua za LoRA huunganishwa na uzani zilizoanzia kabla ya hatua inayofuata, hivyo kuruhusu mifumo iliyounganishwa kujikusanya kwa usafi. Zana ya Brewery ya propose_training_config hujaza hyperparameter kutoka kwa miongozo ya modeli zinazotumika na kupanga kichocheo kulingana na GPU inayopatikana.

6. Endesha Mafunzo

Thibitisha kichocheo kilichopendekezwa baada ya kukagua kumbukumbu, muda na gharama inayokadiriwa. Mafunzo huendeshwa bila kuunganishwa kwenye mashine iliyochaguliwa, huku Brewery ikiripoti maendeleo, upotevu na muda unaokadiriwa wa kukamilika. Kazi ikishindwa, brewmaster hutoa maelezo kwa lugha rahisi na suluhisho linalopendekezwa.

Unaweza kukagua kazi kwa kutumia:

brewery status
brewery status JOB

Kufunga terminali hakusitishi kazi ya mafunzo inayoendelea bila kuunganishwa. Rudi kwenye folda ya mradi na uendeshe brewery ili kuendelea na kipindi.

7. Jaribu Matokeo

Baada ya mafunzo, jaribu vidokezo kwenye modeli mpya na linganisha majibu yake na modeli ya msingi. Kwa urekebishaji wa mapendeleo, Brewery inaweza kuzalisha watahiniwa wawili kwa kila kidokezo. Unaweza kuchagua jibu bora kwenye terminali, au kuomba AI inayoongoza itoe uamuzi kwa kutumia rubriki, kisha ukague baadhi ya maamuzi yake.

Amri muhimu za kipindi ni pamoja na:

• /status huonyesha hali ya sasa ya mradi na kazi.
• /jobs huorodhesha kazi za mafunzo.
• /watch hufuatilia kazi zinazoendelea.
• /level hubadilisha kiwango cha maelezo.
• /usage huonyesha taarifa za matumizi.
• /help huorodhesha amri zinazopatikana.

8. Hamisha na Chapisha

Matokeo yakiwa tayari, Brewery inaweza kuhamisha adapta au modeli iliyounganishwa, kuzalisha kadi ya modeli, kujumuisha faili husika za leseni na kupakia modeli kwenye Hugging Face. Kadi za modeli zinaweza kuwa na mfumo wa mafunzo, vyanzo vya data, leseni, watayarishaji na sampuli za kabla na baada.

Pakiaji huwa kwa faragha kwa chaguomsingi. Kagua kadi ya modeli na mahitaji ya leseni kabla ya kufanya hazina iwe ya umma. Unapotumia miundombinu ya kukodi, kumbuka kusimamisha au kuharibu seva: podi na matukio yaliyosimamishwa bado yanaweza kutozwa gharama ya hifadhi.

Funza LoRA za Picha kwa Vituo vya Ukaguzi vya Hakikisho

Kwa kazi za Qwen-Image 2.1 LoRA, Brewery hutoa picha za hakikisho wakati wa mafunzo. Huunda seti ya msingi kwenye hatua ya sifuri na seti za ziada kwenye vituo vya ukaguzi kwa kutumia mbegu thabiti, hivyo kurahisisha ulinganishaji wa picha.

Faili za hakikisho hupakuliwa kwenye njia kama runs/<job>/samples/step_NNNNNN/. Kila seti ya hakikisho ina kituo cha ukaguzi kinacholingana. Ikiwa kituo cha awali cha ukaguzi kinaonekana bora kuliko matokeo ya mwisho, mwombe brewmaster afungashe kituo hicho cha ukaguzi.

Tumia /gallery wakati wa kipindi ili kuanzisha matunzio ya ndani ya kulinganisha kando kwa kando. Hutolewa kwenye kompyuta yako kwa anwani ya ndani kama http://127.0.0.1:8765/<random-token>/ na haiwezi kufikiwa kutoka nje. Matunzio husasishwa hakikisho jipya linapowasili, hukuruhusu kukuza picha na huunga mkono ulinganishaji na modeli ya msingi.

Vidokezo vya Kina

Chagua AI Inayoongoza kwa Uangalifu

Claude ndiyo chaguo linalopendekezwa kwa mwongozo bora zaidi, huku watoa huduma wanaooana na OpenAI na OpenRouter wakitoa chaguo pana zaidi za modeli. Ollama na LM Studio hutoa uendeshaji wa ndani; Brewery inapendekeza modeli ya ndani yenye ukubwa wa 14B au zaidi na uwezo wa kuita zana kwa matokeo mazuri. Modeli zisizo na uwezo asilia wa kuita zana bado zinaweza kuendeshwa kupitia itifaki ya kiotomatiki ya maandishi.

Badilisha modeli inayoongoza wakati wowote kwa:

brewery setup

Tumia ETF kwa Mifumo ya Data Inayolingana

ETF hutoa muundo mmoja wa JSONL kwa nyenzo mbalimbali za mafunzo, zikiwemo mazungumzo, vidokezo vya mfumo, miundo na miito ya zana, mantiki, hati za RAG, jozi za mapendeleo, maandishi ghafi, ukamilishaji na picha. Hii hurahisisha kuthibitisha na kuhamisha data kati ya hatua za mradi. Tazama nyaraka za ETF kwa maelezo ya muundo.

Rekebisha Tabia ya Terminali

Kwa terminali zenye uwezo mdogo, tumia vigezo vya mazingira kurahisisha kiolesura au kudhibiti uzalishaji wa data sanisi:

BREWERY_AI_PLAIN_INPUT=1
BREWERY_AI_SIMPLE_PROMPTS=1
BREWERY_AI_THINKING=off
BREWERY_AI_SYNTH_WORKERS=4

BREWERY_AI_SYNTH_WORKERS hukubali thamani kutoka 1 hadi 16. Onyesho la kufikiri linaweza kuwekwa kuwa on, full au off.

Elewa Mpangilio wa Mradi

Mradi wa Brewery huhifadhi maamuzi, seti za data, kazi, matokeo na historia ya mazungumzo pamoja:

my-project/
  brewery.yaml
  data/
  data/_sets/<name>/
  runs/<job_id>/
  .brewery/

Njia huhifadhiwa kulingana na mradi kwa kutumia mistari ya mbele, hivyo mradi unaweza kuhamishwa kati ya kompyuta na mifumo ya uendeshaji. Mipangilio ya mtumiaji huhifadhiwa katika ~/.config/brewery-ai/ au, kwenye Windows, %APPDATA%\brewery-ai\.

Hitimisho

Brewery hubadilisha urekebishaji maalum wa modeli kuwa mtiririko wa kazi unaoongozwa na unaoweza kukaguliwa. Sakinisha programu ya udhibiti wa mfumo, chagua brewmaster mwenye uwezo, eleza lengo lako, tayarisha na thibitisha data, kubali kichocheo kinachozingatia maunzi, kisha acha Brewery isimamie mafunzo, majaribio, uhamishaji na uchapishaji. Anza na mradi mdogo wa SFT, kisha chunguza mifumo iliyounganishwa ya CPT, SFT na DPO au LoRA za picha kadiri mahitaji yako yanavyokua.