Brewery yordamida o‘z AI modelingizni yarating: bosqichma-bosqich nozik sozlash qo‘llanmasi

Brewery nima?

Brewery — til va tasvir modellarini nozik sozlash uchun mo‘ljallangan yo‘naltiruvchi agent. Siz tanlagan AI yo‘riqchisi, ya’ni brewmaster bilan suhbatda nima yaratmoqchi ekaningizni tasvirlaysiz. Shundan so‘ng Brewery maqsadni aniqlash, asosiy modelni tanlash, ma’lumotlarni tayyorlash, xavfsiz giperparametrlarni tanlash, o‘qitishni ishga tushirish, natijani sinash va tayyor modelni nashr etishga yordam beradi.

Brewmaster Claude, OpenAI bilan mos model, OpenRouter yoki Ollama yoxud LM Studio orqali ishlaydigan mahalliy model bo‘lishi mumkin. Brewery tushuntirishlari va vositalarini tajriba darajangizga moslashtiradi: Boshlovchi, Havaskor, Yaradovchi yoki Ekspert.

O‘qitish o‘zingizning NVIDIA yoki AMD GPU qurilmangizda yoki SSH orqali ulaniladigan ijaraga olingan serverda bajarilishi mumkin. O‘qitish boshqa joyda amalga oshirilganda, Brewery ishlayotgan noutbuk faqat boshqaruv tekisligi vazifasini bajarishi kerak.

Asosiy imkoniyatlar

• Qo‘llab-quvvatlanadigan matn modellarini LoRA, QLoRA yoki to‘liq nozik sozlash yordamida moslashtirish.
• Matn modellarini davomiy oldindan o‘qitish, nazorat ostidagi nozik sozlash va afzalliklar asosida sozlash usullari bilan o‘qitish.
• Uslublar, qahramonlar va obyektlar uchun Qwen-Image 2.1 LoRA adapterlarini o‘qitish.
• Hugging Face, mahalliy fayllar yoki brewmaster yordamida yaratilgan misollardan ma’lumotlarni import qilish.
• Provayder shartlarini ko‘rib chiqqandan so‘ng sintetik ma’lumotlar yoki afzallik juftliklarini ixtiyoriy ravishda yaratish.
• Empero Trace Format yoki ETF yordamida suhbatlar, vosita chaqiruvlari, mulohazalar, RAG hujjatlari, afzalliklar, xom matn, yakunlar va tasvirlar bilan ishlash.
• O‘qitish boshlanishidan oldin xotira, vaqt va xarajatni hisoblash.
• O‘qitishni mahalliy kompyuterda yoki Runpod, Vast.ai yoxud boshqa SSH serverida bajarish.
• Yaratilgan model kartasi va litsenziya fayllari bilan adapterlar yoki birlashtirilgan modellarni eksport qilish.
• Natijalarni sukut bo‘yicha maxfiy holda Hugging Face’ga yuklash.

Brewery’ni o‘rnatish

Brewery GitHub repozitoriysidan pip yordamida o‘rnatiladi:

pip install "brewery-ai @ git+https://github.com/empero-org/brewery-ai"

Ilovani quyidagi buyruq bilan ishga tushiring:

brewery

Birinchi ishga tushirishda Brewery sizga qaysi AI yo‘l-yo‘riq ko‘rsatishi kerakligini so‘raydi va uning API kalitini talab qiladi. Hisob ma’lumotlari faqat siz o‘qiy oladigan mahalliy fayllarda saqlanadi. Sozlash jarayonida loyiha jildini yaratishdan oldin tajriba darajangiz va loyiha nomi ham so‘raladi.

Mahalliy GPU uchun o‘qitish qo‘llab-quvvatlashini o‘rnatish

Agar NVIDIA GPU’da o‘qitishni rejalashtirsangiz, o‘qitish uchun qo‘shimcha paketlarni o‘rnating. Bu buyruq CUDA bilan mos PyTorch versiyasini ham o‘rnatadi:

pip install "brewery-ai[train] @ git+https://github.com/empero-org/brewery-ai"

AMD GPU’lar uchun avval tegishli PyTorch ROCm versiyasini o‘rnating, so‘ng Brewery’ni o‘qitish qo‘shimchalari bilan o‘rnating. Windows’da pip AMD PyTorch o‘rnatilishini o‘zgartirmasligi uchun PIP_CONSTRAINT=constraints-windows-rocm.txt sozlamasini saqlab turing.

Apple Silicon va faqat CPU ishlatiladigan tizimlar kichik sinovlar uchun mos, kattaroq modellar uchun GPU ijaraga olish bo‘yicha esa brewmaster sizga yo‘l-yo‘riq ko‘rsatishi mumkin.

Birinchi yo‘naltirilgan o‘qitishni boshlang

brewery ishga tushirilgach, yaratmoqchi bo‘lgan modelingizni oddiy tilda tasvirlang. Masalan:

a chatbot that explains chemistry like a friendly pirate

Brewmaster bu g‘oyani aniq o‘qitish rejasiga aylantiradi. U kutilayotgan xatti-harakat, mavjud apparat, model hajmi, o‘qitish usuli, ma’lumotlar talablari, taxminiy xarajat va litsenziya cheklovlarini hisobga olishi mumkin. Agar joriy kompyuterda mos GPU bo‘lmasa, u 24 GB hajmli GPU ijaraga olishni tavsiya qilishi va taxminiy foydalanish xarajatini hisoblab berishi mumkin.

Pul sarflaydigan, dasturiy ta’minot o‘rnatadigan, ma’lumotlarni boshqa joyga yuboradigan yoki modelni nashr etadigan barcha amallar Brewery ichida tasdiqlashni talab qiladi. AI yo‘riqchisi bu so‘rovlarni chetlab o‘ta olmaydi, parollar, API kalitlari va tokenlar esa chat orqali uzatilmaydi.

Brewery ish jarayoniga amal qiling

1. Maqsadni aniqlang

Model nima qilishi, qanday uslubdan foydalanishi, qaysi mavzularni bilishi yoki qaysi vositalar va formatlarni qo‘llab-quvvatlashi kerakligini tushuntiring. Maqsad o‘qitish va baholash uchun yetarlicha aniq bo‘lguncha brewmaster savollariga javob berishda davom eting.

2. Hisoblash resurslarini tanlang

Joriy tizimni tekshirish uchun brewery hardware buyrug‘idan foydalaning:

brewery hardware

Mahalliy o‘qitishdan oldin Brewery haqiqiy GPU amalini bajaradi, shunda drayver yoki PyTorch muammolari uzoq davom etadigan ish boshlanishidan oldin aniqlanadi. Masofaviy o‘qitishda Brewery SSH serverini tayyorlash, zarur ma’lumotlarni yuklash va terminalni yopganingizda ham davom etadigan qilib ishni ajratilgan rejimda ishga tushirishga yordam beradi.

3. Asosiy modelni tanlang

Brewery Qwen3, Qwen3.5, tegishli Qwen arxitekturalari, Qwen3.5 MoE, Llama 3.1 dan 3.3 gacha, Gemma 3 va Gemma 4 kabi matn oilalarini qo‘llab-quvvatlaydi. Tasvirlarni o‘qitish uchun Qwen-Image 2.1 LoRA adapterlarini qo‘llab-quvvatlaydi.

Mavjud asosiy modellarni ko‘rish uchun model brauzeridan foydalaning:

brewery models --modality text
brewery models --modality image
brewery models --all

Brewmaster maqsad, apparat va litsenziya talablarini hisobga oladi. Zarur hollarda cheklangan modellarga kirish imkonini ham tekshiradi.

4. O‘qitish ma’lumotlarini tayyorlang

Hugging Face ma’lumotlar to‘plamlarini yuklab olmasdan qidirish va oldindan ko‘rish, mahalliy fayllarni import qilish, brewmaster yordamida misollar yozish yoki mavjud tasvirlar to‘plamidan foydalanish mumkin. Sintetik ma’lumotlar ixtiyoriy bo‘lib, siz bergan topshiriqqa moslab tuziladi. Brewery yaratishdan oldin provayder shartlarini ko‘rsatadi.

Masalan, brewmaster’dan mavjud ma’lumotlar to‘plamini muayyan uslubda qayta yozishni, topshiriq asosida suhbatlar yaratishni yoki DPO uchun afzallik juftliklarini tayyorlashni so‘rashingiz mumkin. Import qilingan ma’lumotlarni quyidagi buyruq bilan tozalang:

brewery etf validate path/to/data.jsonl

Loyiha ichida o‘qitish to‘plamlari data/_sets/ jildida saqlanadi. Brewery zaxira nusxasini saqlagan holda bo‘sh, takroriy yoki buzilgan yozuvlarni olib tashlashi mumkin.

5. O‘qitish rejimini tanlang

Har bir ishning o‘z maqsadi bo‘ladi va u avvalgi bosqichdan boshlanishi mumkin:

• SFT: instruct modelga muayyan xulq-atvor, uslub, format yoki vositalardan foydalanish usulini o‘rgatadi.
• CPT so‘ng SFT: bazaviy modelni xom domen matnlari asosida o‘rgatadi, keyin esa uni dialog tarzida muloqot qilishga moslashtiradi.
• SFT so‘ng DPO: avval kerakli xulq-atvorni o‘rgatadi, keyin tanlangan javob juftliklari yordamida afzalliklarni yanada takomillashtiradi.

LoRA bosqichlari keyingi bosqichdan oldin boshlang‘ich og‘irliklar bilan birlashtiriladi, shu tariqa zanjirli rejimlar tartibli ravishda ustma-ust qo‘llanadi. Brewery’ning propose_training_config vositasi qo‘llab-quvvatlanadigan model yo‘riqnomalari asosida giperparametrlarni to‘ldiradi va retseptni mavjud GPU imkoniyatlariga moslaydi.

6. O‘qitishni ishga tushirish

Tavsiya etilgan retseptni taxminiy xotira, vaqt va xarajatni ko‘rib chiqqaningizdan so‘ng tasdiqlang. O‘qitish tanlangan kompyuterda ajratilgan rejimda ishlaydi, Brewery esa jarayon, yo‘qotish qiymati va taxminiy tugash vaqtini ko‘rsatadi. Agar vazifa xato bilan yakunlansa, brewmaster oddiy tildagi tushuntirish va tavsiya etilgan yechimni taqdim etadi.

Vazifalarni quyidagicha tekshirishingiz mumkin:

brewery status
brewery status JOB

Terminalni yopish ajratilgan rejimdagi o‘qitish vazifasini to‘xtatmaydi. Loyiha jildiga qayting va sessiyani davom ettirish uchun brewery buyrug‘ini ishga tushiring.

7. Natijani sinash

O‘qitishdan so‘ng yangi modelga so‘rovlar yuboring va uning javoblarini bazaviy model javoblari bilan taqqoslang. Afzalliklarni sozlashda Brewery har bir so‘rov uchun ikkita nomzod yaratishi mumkin. Terminalda yaxshiroq javobni tanlashingiz yoki yo‘riqchi AI’dan mezonlar asosida baholashni so‘rashingiz, keyin esa uning qarorlarini tanlab tekshirishingiz mumkin.

Foydali sessiya buyruqlari:

• /status joriy loyiha va vazifa holatini ko‘rsatadi.
• /jobs o‘qitish vazifalarini ro‘yxatlaydi.
• /watch faol ish jarayonini kuzatadi.
• /level tushuntirish darajasini o‘zgartiradi.
• /usage foydalanish ma’lumotlarini ko‘rsatadi.
• /help mavjud buyruqlarni ro‘yxatlaydi.

8. Eksport qilish va nashr etish

Natija tayyor bo‘lgach, Brewery adapter yoki birlashtirilgan modelni eksport qilishi, model kartasini yaratishi, tegishli litsenziya fayllarini qo‘shishi va modelni Hugging Face’ga yuklashi mumkin. Model kartalarida o‘qitish rejimi, ma’lumot manbalari, litsenziyalar, mualliflar va oldin-keyin namunalar bo‘lishi mumkin.

Yuklamalar sukut bo‘yicha maxfiy bo‘ladi. Repozitoriyni ommaga ochishdan oldin model kartasi va litsenziya talablarini ko‘rib chiqing. Ijaraga olingan infratuzilmadan foydalanganda serverni to‘xtatish yoki yo‘q qilishni unutmang: to‘xtatilgan podlar va nusxalar saqlash uchun to‘lov talab qilishi mumkin.

Preview checkpointlari bilan tasvir LoRA’larini o‘qitish

Qwen-Image 2.1 LoRA vazifalari uchun Brewery o‘qitish davomida preview tasvirlarini yaratadi. U nol bosqichida boshlang‘ich to‘plamni, checkpointlarda esa qo‘shimcha to‘plamlarni bir xil seed’lardan foydalanib yaratadi, bu vizual taqqoslashni osonlashtiradi.

Preview fayllari runs/<job>/samples/step_NNNNNN/ kabi yo‘llarga yuklanadi. Har bir preview to‘plamiga mos checkpoint mavjud. Agar avvalgi checkpoint yakuniy natijadan yaxshiroq ko‘rinsa, brewmaster’dan shu checkpointni paketlashni so‘rang.

Sessiya davomida mahalliy yonma-yon galereyani ishga tushirish uchun /gallery buyrug‘idan foydalaning. U kompyuteringizda http://127.0.0.1:8765/<random-token>/ kabi mahalliy manzilda ishlaydi va tashqaridan foydalanish mumkin emas. Yangi previewlar paydo bo‘lganda galereya yangilanadi, tasvirlarni kattalashtirish va ularni bazaviy model bilan taqqoslash imkonini beradi.

Ilg‘or maslahatlar

Yo‘riqchi AIni ehtiyotkorlik bilan tanlang

Eng kuchli yo‘riqnoma uchun Claude tavsiya etiladi, OpenAI’ga mos provayderlar va OpenRouter esa kengroq model tanlovini taklif qiladi. Ollama va LM Studio mahalliy ishlashni ta’minlaydi; yaxshi natijalar uchun Brewery vositalardan foydalanishni qo‘llaydigan 14B yoki undan katta mahalliy modelni tavsiya qiladi. Mahalliy vositalardan foydalanishni qo‘llamaydigan modellarni ham avtomatik matn protokoli orqali boshqarish mumkin.

Yo‘riqchi modelni istalgan vaqtda quyidagicha o‘zgartiring:

brewery setup

Barqaror ma’lumotlar quvurlari uchun ETF’dan foydalaning

ETF turli xil o‘qitish materiallari, jumladan chatlar, tizim so‘rovlari, vosita sxemalari va chaqiruvlari, mulohaza yuritish, RAG hujjatlari, afzallik juftliklari, xom matn, yakunlashlar va tasvirlar uchun yagona JSONL formatini taqdim etadi. Bu ma’lumotlarni tekshirish va loyiha bosqichlari o‘rtasida ko‘chirishni osonlashtiradi. Format tafsilotlari uchun ETF hujjatlariga qarang.

Terminal xatti-harakatini sozlash

Imkoniyati cheklangan terminallar uchun interfeysni soddalashtirish yoki sintetik ma’lumotlar yaratishni boshqarish maqsadida muhit o‘zgaruvchilaridan foydalaning:

BREWERY_AI_PLAIN_INPUT=1
BREWERY_AI_SIMPLE_PROMPTS=1
BREWERY_AI_THINKING=off
BREWERY_AI_SYNTH_WORKERS=4

BREWERY_AI_SYNTH_WORKERS 1 dan 16 gacha bo‘lgan qiymatlarni qabul qiladi. Fikrlash ko‘rinishini on, full yoki off qiymatlariga o‘rnatish mumkin.

Loyiha tuzilishini tushunish

Brewery loyihasida qarorlar, ma’lumotlar to‘plamlari, vazifalar, natijalar va suhbatlar tarixi bir joyda saqlanadi:

my-project/
  brewery.yaml
  data/
  data/_sets/<name>/
  runs/<job_id>/
  .brewery/

Yo‘llar loyihaga nisbatan va to‘g‘ri qiya chiziqlar bilan saqlanadi, shuning uchun loyihani turli kompyuterlar va operatsion tizimlar o‘rtasida ko‘chirish mumkin. Foydalanuvchi sozlamalari ~/.config/brewery-ai/ yoki Windows’da %APPDATA%\brewery-ai\ ichida saqlanadi.

Xulosa

Brewery modelni nozik sozlashni yo‘riq beriladigan va tekshiriladigan jarayonga aylantiradi. Boshqaruv ilovasini o‘rnating, qobiliyatli brewmasterni tanlang, maqsadingizni tasvirlang, ma’lumotlarni tayyorlang va tekshiring, apparat imkoniyatlarini hisobga olgan retseptni tasdiqlang hamda o‘qitish, sinash, eksport qilish va nashr etishni Brewery’ga topshiring. Kichik SFT loyihasidan boshlang, ehtiyojlaringiz kengaygani sari CPT, SFT va DPO’ning zanjirli rejimlarini yoki tasvir LoRA’larini o‘rganing.