Boresha Miundo ya Maandishi na Picha kwa Mtiririko wa Kazi wa AI Unaoongozwa wa Homebrew

Homebrew Inachofanya

Homebrew ni wakala elekezi wa kurekebisha kwa mafunzo miundo ya lugha na picha. Badala ya kukuhitaji ukusanye mwenyewe hati za mafunzo na usanidi, inakuruhusu kuzungumza na mtaalamu wa kutengeneza pombe: modeli ya AI inayoongoza mradi kutoka wazo la awali kupitia utayarishaji wa data, mafunzo, majaribio, uhamishaji na uchapishaji.

Mtaalamu huyo anaweza kuwa Claude, modeli ya OpenAI, modeli inayopatikana kupitia OpenRouter, modeli ya ndani ya Ollama au LM Studio, au seva nyingine inayooana na OpenAI. Mwongozo hubadilika kulingana na kiwango chako ulichochagua cha uzoefu: Mwanzo, Mpenda Kujifunza, Mjenzi au Mtaalamu.

Homebrew imeundwa kusaidia katika mtiririko mzima wa kazi:

• Kubadilisha wazo pana la modeli kuwa lengo mahususi la mafunzo.
• Kutambua maunzi ya ndani au kuandaa seva ya GPU ya mbali kupitia SSH.
• Kuchagua modeli msingi na njia ya mafunzo inayoendana.
• Kutafuta, kuleta, kusafisha, kuhakiki au kutengeneza data ya mafunzo.
• Kupendekeza vigezo vya hyperparameter ndani ya miongozo mahususi ya modeli.
• Kuendesha kazi za mafunzo zilizojitenga na kuripoti loss, maendeleo na muda unaokadiriwa wa kumaliza.
• Kujaribu matokeo dhidi ya modeli msingi asilia.
• Kuhamisha adapter au modeli iliyounganishwa.
• Kutengeneza kadi ya modeli na kupakia matokeo kwenye Hugging Face.

Homebrew huomba uthibitisho kabla ya kutumia pesa, kusakinisha programu, kutuma data kwa mtoa huduma wa nje au kuchapisha modeli. Nywila, funguo za API na tokeni hazipitishwi kupitia gumzo.

Mitiririko ya Mafunzo Inayoungwa Mkono

Miundo ya maandishi

Homebrew inaunga mkono familia za modeli zilizoorodheshwa, zikiwemo Qwen3, Qwen3.5 na usanifu wa Qwen unaooana, Qwen3.5 MoE, Llama 3.1 hadi 3.3, Gemma 3 na Gemma 4. Kulingana na modeli na maunzi yaliyopo, mafunzo yanaweza kutumia LoRA, QLoRA au urekebishaji kamili wa mafunzo.

Kila kazi ya mafunzo ya maandishi huwa na mojawapo ya malengo matatu:

• SFT: Urekebishaji unaosimamiwa wa mafunzo kwa ajili ya kufundisha modeli ya instruct tabia, mtindo, muundo wa majibu au mfumo wa kutumia zana.
• CPT: Mafunzo ya awali yanayoendelea kwenye maandishi ghafi, ambayo mara nyingi hutumiwa kufundisha modeli msingi kuhusu eneo au lugha fulani.
• DPO: Urekebishaji wa mapendeleo kwa kutumia majibu yaliyochaguliwa na yaliyokataliwa.

Malengo haya yanaweza kuunganishwa kwa mfuatano. Mipangilio ya kawaida inajumuisha SFT pekee, CPT ikifuatiwa na SFT, na SFT ikifuatiwa na DPO. Hatua za LoRA zinapounganishwa kwa mfuatano, Homebrew huunganisha kila hatua kwenye uzani wake wa kuanzia kabla ya kuanza hatua inayofuata.

Miundo ya picha

Kwa mafunzo ya picha, Homebrew inaunga mkono adapter za LoRA za Qwen-Image 2.1. Adapter hizi zinaweza kulenga mitindo, wahusika au vitu. Wakati wa mafunzo, Homebrew inaweza kutoa picha za hakiki katika hatua ya sifuri na kwenye checkpoint za baadaye kwa kutumia seed zisizobadilika, jambo linalorahisisha ulinganishaji wa picha.

Sakinisha Homebrew

Usakinishaji wa control plane

Ikiwa mafunzo yataendeshwa kwenye seva ya GPU iliyokodishwa au ya mbali, kompyuta yako ya ndani inahitaji tu usakinishaji mwepesi wa Homebrew:

pip install "homebrew-ai @ git+https://github.com/empero-org/homebrew-ai"

Anzisha kiolesura elekezi kwa:

homebrew

Usakinishaji wa GPU ya ndani

Ikiwa kompyuta ina GPU ya NVIDIA na itafanya mafunzo ndani ya kompyuta, sakinisha nyongeza za mafunzo:

pip install "homebrew-ai[train] @ git+https://github.com/empero-org/homebrew-ai"

Unaweza kuthibitisha usakinishaji, usanidi wa mtoa huduma, kuingia kwenye Hugging Face na maunzi kwa:

homebrew doctor
homebrew hardware

Ili kukagua seva ya mafunzo ya mbali badala yake, pitisha amri yake ya SSH:

homebrew hardware --ssh "ssh user@example-server"

Sanidi AI Elekezi

Inapoendeshwa kwa mara ya kwanza, Homebrew huuliza ni AI ipi inapaswa kuwa mtaalamu wa kutengeneza pombe. Kisha huomba ufunguo wa API unaohitajika, huihifadhi ndani ya kompyuta kwa ruhusa zilizowekewa mipaka, huuliza kiwango chako cha uzoefu na kuunda mradi.

Aina za waelekezi zinazopatikana ni:

• Claude: README inapendekeza chaguo hili kwa mwongozo imara zaidi.
• OpenAI: Hutumia modeli ya gumzo yenye uwezo wa kuita zana.
• OpenRouter: Hutoa ufikiaji wa modeli nyingi kupitia ufunguo mmoja wa API.
• Ollama au LM Studio: Huendeshwa ndani ya kompyuta; mradi unapendekeza modeli yenye angalau vigezo 14B na uwezo wa kuita zana kwa matokeo mazuri.
• Custom: Huunganisha kwenye endpoint inayooana na OpenAI kama vile vLLM au llama.cpp.

Badilisha modeli elekezi baadaye kwa kuendesha:

homebrew setup

Homebrew hubadilisha mwenendo wake kulingana na mwongoza. Modeli imara hupokea seti kamili ya zana, huku modeli ndogo za ndani zikipewa zana mahususi kwa kila awamu na mwongozo wenye muundo zaidi. Modeli zisizo na uwezo wa asili wa kuita zana zinaweza kutumia itifaki ya maandishi ya Homebrew kiotomatiki.

Unda Mradi Wako wa Kwanza wa Urekebishaji wa Mafunzo

Unaweza kuanza kwenye saraka ya sasa kwa homebrew, au kuunda mradi wenye jina moja kwa moja:

homebrew new my-pirate-chemist
cd my-pirate-chemist
homebrew

Eleza matokeo unayotaka kwa lugha ya kawaida. Kwa mfano:

a chatbot that explains chemistry like a friendly pirate

Mtaalamu wa kutengeneza pombe atauliza maswali hadi lengo liwe mahususi. Kisha hutathmini maunzi, hupendekeza modeli msingi, hujadili mahitaji ya leseni na huamua kama kompyuta ya ndani au iliyokodishwa inafaa.

Fuata Mtiririko wa Kutengeneza

1. Bainisha lengo

Eleza tabia inayokusudiwa ya modeli, hadhira, eneo la mada, mtindo wa matokeo au dhana ya picha. Malengo mahususi humsaidia mtaalamu wa kutengeneza pombe kuchagua data inayofaa na lengo linalofaa la mafunzo.

2. Chagua kompyuta

Homebrew hutambua maunzi ya ndani. Ikiwa hakuna GPU ya NVIDIA inayofaa, inaweza kupendekeza GPU inayoendana na kutoa bei za makadirio za Runpod na Vast.ai. Haiundi akaunti wala kutumia pesa kwa niaba yako.

Baada ya kukodisha mashine, bandika amri ya SSH ya mtoa huduma kwenye kipindi kinachoongozwa. Homebrew inaweza kisha kukagua maunzi, kuandaa mazingira, kupakia data, kuanza mafunzo, na kupata matokeo.

Instansi za wingu zilizosimamishwa zinaweza kuendelea kutoza gharama za hifadhi. Futa rasilimali ulizokodisha mradi unapokamilika.

3. Chagua modeli msingi

Brewmaster inapendekeza modeli kulingana na lengo, kumbukumbu inayopatikana, mbinu ya mafunzo inayokusudiwa, na mahitaji ya leseni. Pia hukagua kama ufikiaji wa modeli iliyofungwa unapatikana.

Ili kukagua modeli zinazotumika wewe mwenyewe, tumia:

homebrew models
homebrew models --modality text --all
homebrew models --modality image --all

4. Andaa data

Data ya mafunzo inaweza kutoka Hugging Face, faili za ndani, mifano iliyoandikwa kwa brewmaster, au uundaji wa hiari wa data sintetiki. Homebrew inaweza kutafuta na kuhakiki seti za data za Hugging Face bila kuzipakua kwanza.

Uundaji wa data sintetiki ni wa hiari. Unaweza kuunda mazungumzo kutokana na maelezo mafupi, kuandika upya seti ya data iliyopo kwa mtindo ulioombwa, au kuzalisha jozi za mapendeleo kwa DPO. Kazi huhifadhiwa kadiri bechi zinavyokamilika, kwa hivyo kughairi mchakato wa uundaji hakutafuti bechi zilizokamilika.

Operesheni ya clean_dataset huondoa rekodi tupu, zilizorudiwa, au zilizoharibika na kuunda nakala rudufu. Hakiki rekodi zilizochakatwa kwa uangalifu ili kuthibitisha kuwa zinafundisha tabia iliyokusudiwa.

5. Unda kichocheo cha mafunzo

Operesheni ya propose_training_config ya Homebrew huchagua hyperparameter kutoka kwenye miongozo ya modeli inayotumika na hupanga ukubwa wa kazi kulingana na GPU inayopatikana. Kabla ya mafunzo kuanza, Homebrew hukadiria matumizi ya kumbukumbu, muda na gharama.

6. Endesha na fuatilia mafunzo

Mafunzo huendeshwa kama mchakato uliotenganishwa kwenye mashine iliyo na GPU. Kufunga terminal ya ndani hakusitishi kazi. Rudi kwenye folda ya mradi na endesha homebrew ili kuendelea na mazungumzo.

Amri muhimu za ufuatiliaji ni pamoja na:

homebrew status
homebrew status JOB_ID

Ndani ya kipindi shirikishi, tumia:

/status
/jobs
/watch

Homebrew hufuata maendeleo, huripoti mkondo wa loss na ETA, na hutoa maelezo ya lugha rahisi hitilafu inapotokea.

7. Jaribu modeli

Baada ya mafunzo, jaribu vidokezo kwenye modeli iliyoboreshwa na linganisha majibu yake na yale ya modeli msingi. Hii inaweza kuonyesha kama modeli mpya imejifunza mtindo au tabia iliyoombwa bila kuharibu ubora wa jumla wa majibu.

8. Hamisha na shiriki

Homebrew inaweza kufungasha matokeo kama adapta au modeli iliyounganishwa. Pia huunda kadi ya modeli inayoeleza mfumo wa mafunzo, data, leseni, wachangiaji na mifano husika. Upakiaji kwenye Hugging Face huwa wa faragha kwa chaguo-msingi.

Ukaguzi wa leseni unajumuisha mambo kama mahitaji ya kutaja jina la Llama, masharti ya Gemma, na notisi za seti za data au modeli zisizoruhusu matumizi ya kibiashara.

Mafunzo Mahiri ya Maandishi: CPT, SFT na DPO

Tumia CPT ikifuatiwa na SFT

Chagua CPT wakati modeli inahitaji kwanza kufichuliwa kwa data ghafi ya kikoa au lugha. Ifuatilie kwa SFT ili kufundisha tabia ya mazungumzo. Kila kazi inayofuata hurejelea hatua iliyotangulia kupitia init_from.

Base model -> CPT on raw text -> SFT on conversations

Boresha mapendeleo kwa DPO

Baada ya SFT, DPO inaweza kuboresha mapendeleo ya sifa kama sauti, muundo au mtindo wa majibu. Jozi za mapendeleo zinaweza kutoka Hugging Face, uundaji wa data sintetiki, au modeli mpya iliyofunzwa yenyewe.

Homebrew inaweza kuunda majibu mawili ya mgombea kwa kila kidokezo kwa generate_candidates. Unaweza kuchagua jibu bora kwenye terminal kwa review_candidates, au kuomba AI inayoongoza ihukumu wagombea kwa kutumia vigezo, kisha ukague baadhi ya maamuzi yake.

Base model -> SFT -> generate candidate pairs -> review preferences -> DPO

Uwezekano wa kumbukumbu wa marejeo wa DPO huhesabiwa mara moja kutoka kwenye modeli ya kuanzia ya hatua hiyo, kwa hivyo modeli ya pili haihitaji kubaki kwenye kumbukumbu ya GPU. Hii inatumika kwa LoRA na uboreshaji kamili wa modeli.

Fuatilia LoRA ya Picha kwa Kuonekana

Kazi za Qwen-Image 2.1 LoRA zinaweza kuunda onyesho la modeli msingi katika hatua ya sifuri na seti mpya ya maonyesho katika kila checkpoint iliyosanidiwa. Vidokezo na mbegu za nasibu hubaki zilezile, hivyo kuwezesha ulinganishaji wa maana wa checkpoint.

Maonyesho yaliyopakuliwa huhifadhiwa kwenye:

runs/<job>/samples/step_NNNNNN/

Jumuisha neno la kuchochea la adapta kwenye vidokezo vya maonyesho. Ikiwa checkpoint ya awali inaonekana bora kuliko ya mwisho, mwombe brewmaster ifungashe checkpoint hiyo.

Kwa kiolesura cha kivinjari cha kulinganisha ubavu kwa ubavu, ingiza:

/gallery

Galeria hutolewa ndani ya kompyuta kwenye anwani ya 127.0.0.1 yenye tokeni na haiwezi kufikiwa kutoka nje ya kompyuta. Safu zinawakilisha checkpoint na safu wima zinawakilisha vidokezo vya maonyesho. Galeria hujisasisha wakati wa mafunzo, inaruhusu picha kukuzwa, hukuwezesha kusogea kati ya checkpoint kwa vitufe vya mishale, na hutumia C kulinganisha matokeo na modeli msingi.

Elewa Data ya ETF

Homebrew hutumia Empero Trace Format, au ETF, kama umbizo la pamoja la JSON Lines. ETF inaweza kuwakilisha mazungumzo, vidokezo vya mfumo, miundo na miito ya zana, hoja, hati za urejeshaji, jozi za mapendeleo, maandishi ghafi, ukamilishaji na picha.

Tumia kundi la amri za ETF kukagua na kudhibiti faili:

homebrew etf validate dataset.jsonl
homebrew etf stats dataset.jsonl
homebrew etf convert
homebrew etf schema

Angalia hati za ETF za mradi kwa muundo wake kamili.

Amri Muhimu na Vidhibiti vya Kipindi

• homebrew: Anzisha au endeleza mradi wa sasa.
• homebrew new NAME: Unda mradi.
• homebrew setup: Chagua au badilisha AI inayoongoza.
• homebrew doctor: Kagua usakinishaji, mtoa huduma wa AI, kuingia kwa Hugging Face, na maunzi.
• homebrew hardware: Onyesha ripoti ya maunzi ya ndani au ya mbali.
• homebrew models: Orodhesha miundo msingi inayotumika.
• homebrew status JOB: Kagua kazi za mafunzo.

Ndani ya kipindi, /level hubadilisha kiwango cha maelezo, /usage huonyesha taarifa ya matumizi, /thinking full hupanua onyesho la hoja linaloonekana la mtayarishaji, /thinking off hulificha, na /quit hutoka kwenye kipindi.

Vidokezo vya Usanidi wa Juu

Badilisha Homebrew kwa vituo vya mwisho vyenye uwezo mdogo

Homebrew hutoa vigeu vya mazingira kwa violesura vilivyorahisishwa vya vituo vya mwisho:

HOMEBREW_AI_PLAIN_INPUT=1 homebrew
HOMEBREW_AI_SIMPLE_PROMPTS=1 homebrew
HOMEBREW_AI_THINKING=off homebrew

HOMEBREW_AI_PLAIN_INPUT hubadilisha upau wa ingizo wenye fremu kuwa kidokezo cha kawaida. HOMEBREW_AI_SIMPLE_PROMPTS hutumia chaguo zilizowekewa nambari badala ya menyu za vitufe vya mishale. HOMEBREW_AI_THINKING hukubali on, full, au off.

Dhibiti ulinganifu wa data sanisi

Uzalishaji sanisi unaauni wafanyakazi sambamba kati ya mmoja na kumi na sita. Kwa mfano:

HOMEBREW_AI_SYNTH_WORKERS=4 homebrew

Chagua thamani inayoheshimu vikomo vya kasi vya mtoa huduma wako na masharti ya akaunti.

Kagua faili za mradi

Mradi wa kawaida huwa na:

my-project/
  homebrew.yaml
  data/
  data/_sets/<name>/
  runs/<job_id>/
  .homebrew/

• homebrew.yaml huhifadhi maamuzi na hali, ikiwemo lengo, modeli, kompyuta, seti za data, kazi na uhamishaji.
• data/ huwa na seti za data za ETF na maelezo ya faili yanayoeleza vyanzo, leseni na michoro ya ulinganifu.
• data/_sets/<name>/ huwa na seti za mafunzo na tathmini zilizoundwa.
• runs/<job_id>/ huhifadhi usanidi wa kazi, data iliyonakiliwa, hali, vipimo, kumbukumbu na vitu vya mwisho vilivyoundwa.
• .homebrew/ huwa na historia ya mazungumzo inayotumika kuendeleza kipindi.

Mipangilio ya mtumiaji huhifadhiwa chini ya ~/.config/homebrew-ai/. Vitambulisho huhifadhiwa katika credentials.yaml kwa hali 600. Wasifu wa ziada wa modeli unaweza kuwekwa katika ~/.config/homebrew-ai/profiles/ kwa kutumia muundo sawa na wasifu uliojumuishwa.

Mapendekezo ya Vitendo

1. Anza na lengo finyu. Tabia au dhana ya kuona iliyo sahihi ni rahisi kutathmini kuliko lengo la matumizi ya jumla.
2. Hakiki rekodi za mwisho za mafunzo. Usafishaji na uandishi upya wa kimtindo unaweza kubadilisha kile modeli inaona, kwa hivyo kagua mifano wakilishi kabla ya mafunzo.
3. Anza na SFT kwa mabadiliko ya kitabia. Tumia minyororo changamano zaidi pale tu mradi unapohitaji mafunzo ya awali ya kikoa au uboreshaji wa mapendeleo.
4. Linganisha na modeli msingi. Majaribio ya ubavu kwa ubavu hurahisisha kubaini kama mafunzo yameleta uboreshaji wenye manufaa.
5. Kagua leseni kabla ya kuchapisha. Matokeo yako ni mali yako, yakizingatia leseni za modeli msingi na seti za data zilizotumika.
6. Hifadhi vituo vya ukaguzi vyenye manufaa. Hasa kwa mafunzo ya LoRA ya picha, kituo cha ukaguzi chenye mwonekano bora zaidi huenda si cha mwisho.
7. Sitisha miundombinu iliyokodishwa. Simamisha na haribu rasilimali za wingu baada ya kupakua na kuthibitisha matokeo.

Hitimisho

Homebrew hubadilisha urekebishaji wa modeli kuwa mchakato unaoongozwa na wa mazungumzo huku ikihifadhi udhibiti wa data, gharama, usakinishaji na uchapishaji. Inaunga mkono miradi rahisi ya SFT pamoja na taratibu zilizounganishwa za CPT, SFT na DPO, na pia mafunzo ya LoRA ya Qwen-Image yanayotegemea vituo vya ukaguzi. Anza kwa kusakinisha zana ya mstari wa amri, chagua mwongoza mwenye uwezo, eleza lengo lililolenga, na umruhusu mtayarishaji akupitishe katika kila hatua iliyothibitishwa.

Kwa msimbo wa chanzo na nyaraka za sasa, tembelea hazina ya Homebrew kwenye GitHub. Homebrew hutumia leseni yake yenyewe: masharti ya mtindo wa MIT yanatumika kwa watu binafsi na mashirika hadi kikomo cha mapato kilichoelezwa kwenye hazina, huku mashirika makubwa yakihitaji leseni ya kibiashara.