Funza LoRA ya MiniMax H3 Ref2VA kwenye Google Colab

Mradi Huu Unafanya Nini

MiniMax H3 Ref2VA LoRA Colab Skill ni ujuzi wa Codex unaoweza kusakinishwa kwa ajili ya kuandaa seti za data za picha zilizooanishwa na kufundisha MiniMax H3 Ref2VA LoRA kwenye Google Colab. Kikimbiza chake hupanga picha za ndani, hupakia seti ya data, huanzisha daftari la Colab lililojumuishwa, huhifadhi vituo vya ukaguzi na mabaki ya uendeshaji kwenye Google Drive, kisha hupakua adapta ya mwisho ya .safetensors kwenye kompyuta yako.

Mtiririko huu unalenga mahususi transfoma ya MiniMax H3. H3 hutumia Qwen3-VL ndani ya mchakato wake wa kuelewa picha, lakini Qwen Image ni modeli tofauti. LoRA ya Qwen Image haiwezi kutumika na adapta ya H3.

Vipengele Muhimu

• Huunda seti za data za picha zilizooanishwa za lengwa na marejeo/udhibiti.
• Hutumia faili za manukuu zenye majina ya msingi yanayolingana zinapopatikana.
• Hutoa usaidizi wa mpango wa seti ya data wa JSON kwa manukuu na chaguo za marejeo zinazoweza kurudiwa.
• Huendesha mafunzo ya MiniMax H3 Ref2VA LoRA kupitia Ostris AI Toolkit kwenye Google Colab.
• Hutoa usaidizi wa kusanidi hatua za mafunzo, kiwango cha LoRA, alpha, kiwango cha ujifunzaji, aina ya GPU na maombi ya kumbukumbu kubwa.
• Husawazisha vituo vya ukaguzi, sampuli, usanidi na muhtasari wa uendeshaji kwenye Google Drive.
• Hupakua adapta ya mwisho ya .safetensors kwenye saraka ya matokeo ya ndani.
• Hutoa amri za kuangalia salio la kompyuta ya Colab na kujaribu muunganisho wa mazingira ya mbali.

Mahitaji ya Awali

Kabla ya kusakinisha ujuzi, hakikisha mfumo wako wa ndani una:

• Python 3.10 au toleo jipya zaidi.
• CLI ya Google Colab iliyosakinishwa na kuthibitishwa kabla ya kuendesha amri za mbali.
• Akaunti ya Colab inayoweza kufikia maunzi ya GPU.
• Ufikiaji wa modeli ya H3 na mali zinazohitajika za adapta ya mafunzo, pamoja na kukubali leseni zozote zinazotumika.
• Kompyuta ya kutosha ya Colab kwa uendeshaji wa mafunzo uliokusudiwa.

Daftari lililojumuishwa hukagua angalau GiB 60 za nafasi ya diski iliyo wazi na kutoa onyo wakati VRAM ya GPU iko chini ya GiB 48. Mradi unapendekeza A100 yenye kumbukumbu kubwa, ingawa hakuna hakikisho rasmi la kiwango cha chini cha VRAM.

Sakinisha Ujuzi wa Codex

Fanya kloni ya hazina kisha uendeshe kisakinishi chake:

git clone https://github.com/killkli/minimax-h3-lora-colab-skill.git
cd minimax-h3-lora-colab-skill
./install.sh

Wakati CODEX_HOME imewekwa, kisakinishi huweka ujuzi chini ya $CODEX_HOME/skills. Vinginevyo, hutumia ~/.codex/skills.

Ili kusakinisha kwenye saraka nyingine ya ujuzi, toa --dest:

./install.sh --dest /path/to/skills

Usakinishaji uliopo huhifadhiwa kwa chaguomsingi. Ikiwa unataka kuubadilisha kwa makusudi, tumia --force. Kisakinishi huhamisha nakala ya awali hadi kwenye hifadhi rudufu yenye muhuri wa muda badala ya kuifuta kimya kimya.

Thibitisha Usakinishaji

Onyesha msaada wa kikimbiza bila kuanzisha kazi ya Colab:

python3 ~/.codex/skills/minimax-h3-lora-colab/scripts/runner.py --help

Ikiwa CODEX_HOME imesanidiwa, badilisha ~/.codex/skills na $CODEX_HOME/skills. Ukaguzi wa usakinishaji wa ndani na msaada hauanzi mafunzo wala kutumia muda wa GPU wa Colab.

Andaa Picha Zako za Mafunzo

Weka picha lengwa kwenye saraka moja. Picha zinapaswa kuonyesha mtu au kitu kilekile. Kwa hiari unaweza kuongeza manukuu kama faili za maandishi zenye majina ya msingi yanayolingana. Kwa mfano, photo01.jpg inaweza kuwa na nukuu kwenye photo01.txt.

Kutoka kwenye hazina iliyofanyiwa kloni, andaa seti ya data kwa:

python3 scripts/runner.py prepare \
  --input-dir /path/to/target_photos \
  --name studio_subject \
  --trigger "studio_subject person" \
  --output-dir ./prepared_dataset

Saraka iliyoandaliwa ina:

prepared_dataset/
├── targets/
├── references/
└── dataset_manifest.json

• targets/ ina picha lengwa na faili zake za manukuu zenye majina ya msingi yanayolingana.
• references/ ina picha za marejeo au udhibiti zenye majina ya msingi yanayolingana na lengwa.
• dataset_manifest.json huhifadhi chanzo, lengwa, rejeo na nukuu kwa kila sampuli.

Uandaaji wa seti ya data hufanyika ndani ya mfumo. Hunakili picha asili kwenye seti ya data iliyoandaliwa lakini haizipakii kwenye Colab.

Chagua Marejeo Kiotomatiki

Usipotoa saraka tofauti ya marejeo, kikimbiza kinahitaji angalau picha mbili lengwa. Huzungusha picha hizo ili kuunda uoanishaji wa marejeo.

Tumia mitazamo mbalimbali na yenye manufaa ya kitu kilekile inapowezekana. Lengwa halipaswi kutumia lenyewe kama rejeo lake.

Tumia Saraka Tofauti ya Marejeo

Ili kuchagua marejeo kutoka saraka nyingine, ongeza --reference-dir:

python3 scripts/runner.py prepare \
  --input-dir /path/to/target_photos \
  --reference-dir /path/to/reference_photos \
  --name studio_subject \
  --trigger "studio_subject person" \
  --output-dir ./prepared_dataset

Kila rejeo lililochaguliwa lazima lionyeshe kitu kilekile kama seti lengwa. Ikiwa unachagua sehemu tu ya mkusanyiko mkubwa, weka lengwa na marejeo yaliyochaguliwa kwenye saraka za muda na uache mkusanyiko wa awali wa picha bila kuguswa.

Unda Mpango wa Seti ya Data Unaoweza Kurudiwa

Mpango wa seti ya data huhifadhi manukuu mahususi ya picha na chaguo za hiari za kuoanisha lengwa na marejeo. Hii hufanya uteuzi wa mikono au unaosaidiwa na wakala uweze kurudiwa.

{
  "captions": {
    "photo01.jpg": "studio_subject person, waist-up portrait in a blue jacket, outdoors in soft daylight",
    "photo02.jpg": "studio_subject person, side profile wearing a white shirt, indoors by a window"
  },
  "references": {
    "photo01.jpg": "front_reference.png",
    "photo02.jpg": "side_reference.png"
  }
}

Kitu cha captions lazima kijumuishe jina la msingi la kila picha lengwa. Ikiwa kitu cha hiari cha references kipo, lazima pia kipangilie kila jina la msingi lengwa na jina la msingi la picha katika saraka ya marejeleo ya wagombea.

Maelezo mafupi yanapaswa kueleza maelezo yanayoonekana pekee. Watu au vitu visivyohusiana viwekwe katika seti tofauti za data, na usipangilie picha lengwa na yenyewe.

Andaa seti ya data kwa kutumia mpango huu:

python3 scripts/runner.py prepare \
  --input-dir /path/to/target_photos \
  --reference-dir /path/to/reference_photos \
  --dataset-plan /path/to/dataset-plan.json \
  --name studio_subject \
  --trigger "studio_subject person" \
  --output-dir ./prepared_dataset

Ikiwa --dataset-plan haijawekwa, runner hutumia maelezo mafupi yaliyopo katika faili za pembeni na hutoa chaguo-msingi rahisi kwa maelezo yanayokosekana.

Kagua Kabla ya Kupakia

Fungua dataset_manifest.json kabla ya kuanza mafunzo na uhakikishe kila chanzo, lengwa, rejeleo na maelezo mafupi. Hii ndiyo hatua bora ya kugundua upangaji usio sahihi, maelezo yaliyokosekana au picha za mhusika tofauti. Mafunzo ndiyo hatua inayopakia picha zilizoandaliwa kwenye mazingira ya Colab.

Funza LoRA kwenye Google Colab

Baada ya kukagua seti ya data iliyoandaliwa, anza mchakato wa mafunzo:

python3 scripts/runner.py train \
  --dataset-dir ./prepared_dataset \
  --name studio_subject \
  --trigger "studio_subject person" \
  --steps 1000 \
  --rank 16 \
  --alpha 16 \
  --gpu A100 \
  --output-dir ./outputs

Mipangilio ya chaguo-msingi ya mafunzo ni:

• Hatua 1,000 za mafunzo.
• Cheo cha LoRA 16.
• Alpha 16.
• Kasi ya ujifunzaji 1e-4.
• Kikao cha Colab cha A100 chenye kumbukumbu kubwa.

Daftari hupakua modeli ya H3 na mali zinazohitajika za adapta ya mafunzo. Adapta ya mwisho huwekwa katika ./outputs/ kama faili la .safetensors.

Vibaki vya mchakato pia husawazishwa kwenye:

MyDrive/MiniMax_H3_LoRAs/<name>/<run-id>/

Saraka ya Drive inajumuisha vituo vya ukaguzi, sampuli zilizozalishwa, data ya usanidi na muhtasari wa mchakato.

Badilisha Vigezo vya Mafunzo kwa Uangalifu

Unaweza kubadilisha thamani za mfano za hatua, cheo, alpha, GPU na saraka ya matokeo. Ili kukagua chaguo zote za mafunzo zinazotumika, endesha:

python3 scripts/runner.py train --help

Hali ya kumbukumbu kubwa huombwa kwa chaguo-msingi. Ongeza --no-high-mem tu wakati mgao wa GPU wa Colab uliouchagua unapaswa kuacha ombi hilo.

Kagua Matumizi na Muunganisho wa Colab

Ili kusoma salio la sasa la kompyuta ya Colab katika mfumo wa JSON, tumia:

python3 scripts/runner.py usage --json

Ili kuandaa mazingira ya mbali ya GPU na kuthibitisha uchunguzi, uhamishaji wa faili na njia ya Google Drive, endesha:

python3 scripts/runner.py test

Amri ya test si uthibitishaji wa mafunzo. Haithibitishi kwamba mafunzo ya MiniMax H3 yataweza kutoshea katika VRAM iliyopo au kukamilika kwa mafanikio.

Vidokezo vya Juu na Mwongozo wa Uendeshaji

Weka Seti za Wahusika Zikiwa Makini

Tumia picha za mtu au mhusika mmoja kwa kila seti ya data. Kutenganisha wahusika wasiohusiana hufanya maelezo mafupi na upangaji wa marejeleo kuwa wazi zaidi na hufuata mtiririko wa kazi unaotarajiwa na runner.

Tumia Maelezo Mahususi kwa Kila Picha

Badala ya kutegemea maelezo ya jumla pekee, eleza sifa zinazoonekana kama vile mkao, mavazi, mpangilio wa picha, mazingira na mwangaza. Jumuisha kichocheo kilichochaguliwa kwa uthabiti, lakini epuka kuongeza maelezo yasiyoonekana kwenye picha.

Pendelea Utofauti Muhimu wa Marejeleo

Chagua marejeleo yanayotoa mitazamo mbalimbali huku yakiwa bado yanaonyesha mhusika yuleyule. Kwa mfano, oanisha mitazamo ya mbele na ya wasifu wa pembeni inapofaa. Kamwe usioanishe lengwa na lenyewe.

Hifadhi Rekodi Inayoweza Kukaguliwa

Hifadhi mpango wa seti ya data na manifest iliyozalishwa pamoja na mradi. Kwa pamoja, zinaandika maelezo mafupi na upangaji uliotumika kwa mchakato na kurahisisha ukaguzi au kurudia mchakato wa maandalizi.

Fuatilia Matokeo ya Ndani na ya Wingu

Saraka ya matokeo ya ndani ina adapta ya mwisho iliyopakuliwa, huku Google Drive ikihifadhi vibaki vya mchakato kwa upana zaidi. Tumia nakala ya Drive kukagua vituo vya ukaguzi, sampuli, usanidi na muhtasari wa mchakato ikiwa mchakato wa mafunzo utasimama bila kutarajiwa.

Chukulia Ulinganifu wa Vifaa kuwa Unategemea Mazingira ya Uendeshaji

A100 yenye kumbukumbu kubwa inayopendekezwa haihakikishi mafanikio. Uwezo halisi wa kumbukumbu unategemea mazingira ya Colab na usanidi wa mafunzo. Daftari huonya chini ya GiB 48 za VRAM na hukagua GiB 60 za nafasi ya diski iliyo huru, lakini ukaguzi huu si hakikisho rasmi la vifaa.

Elewa Hali ya Uthibitishaji

Usanidi wa mfano wa upstream AI Toolkit Ref2VA umewekwa alama ya haujathibitishwa. Kwa sababu hiyo, hazina hii haidai kwamba kila mchakato wa mafunzo wa wingu utafanikiwa. Daftari hubandika commit ya chanzo cha AI Toolkit iliyokaguliwa kwa ajili ya kuzalisha matokeo yanayoweza kurudiwa, lakini usakinishaji uliofanikiwa au uchunguzi wa mbali haupaswi kutafsiriwa kuwa uthibitisho wa kukamilika kwa mafunzo kutoka mwanzo hadi mwisho.

Usomaji Zaidi

• Usanifu wa modeli ya MiniMax H3
• Nyaraka za Ostris AI Toolkit MiniMax-H3 Ref2VA
• Utekelezaji wa H3 wa AI Toolkit uliobandikwa

Hitimisho

Ujuzi wa MiniMax H3 Ref2VA LoRA Colab hutoa njia inayoweza kurudiwa kutoka katika uteuzi wa picha kwenye kifaa cha ndani hadi kwenye adapta ya H3 inayoweza kupakuliwa. Andaa na kagua jozi za picha lengwa na za marejeleo kwenye kifaa cha ndani, tumia mpango wa seti ya data unapohitaji manukuu na miunganiko inayoweza kuzalishwa kwa njia ileile, thibitisha rasilimali na leseni zako za Colab, kisha anza mafunzo. Kumbuka kwamba usanidi wa upstream bado haujathibitishwa na kwamba Qwen Image LoRAs haziwezi kubadilishana na adapta za MiniMax H3.