Brewery کے ساتھ اپنا AI ماڈل تیار کریں: مرحلہ وار Fine-Tuning ٹیوٹوریل

بریوری کیا ہے؟

بریوری زبان اور تصویری ماڈلز کو فائن ٹیون کرنے کے لیے ایک رہنمائی فراہم کرنے والا ایجنٹ ہے۔ آپ منتخب کردہ AI گائیڈ، جسے بریو ماسٹر کہا جاتا ہے، کے ساتھ گفتگو میں بیان کرتے ہیں کہ آپ کیا بنانا چاہتے ہیں۔ بریوری پھر مقصد متعین کرنے، بنیادی ماڈل منتخب کرنے، ڈیٹا تیار کرنے، محفوظ ہائپرپیرامیٹرز منتخب کرنے، ٹریننگ چلانے، نتیجے کی جانچ کرنے اور مکمل شدہ ماڈل شائع کرنے میں مدد کرتی ہے۔

بریو ماسٹر Claude، OpenAI-compatible ماڈل، OpenRouter، یا Ollama یا LM Studio کے ذریعے چلنے والا مقامی ماڈل ہو سکتا ہے۔ بریوری آپ کی تجربے کی سطح کے مطابق اپنی وضاحتیں اور ٹولز ڈھالتی ہے: Beginner، Hobbyist، Builder، یا Expert۔

ٹریننگ آپ کے اپنے NVIDIA یا AMD GPU پر، یا SSH کے ذریعے استعمال کیے جانے والے کرائے کے سرور پر چل سکتی ہے۔ جب ٹریننگ کہیں اور ہو رہی ہو تو Brewery چلانے والے لیپ ٹاپ کو صرف کنٹرول پلین کے طور پر کام کرنا ہوتا ہے۔

اہم خصوصیات

• LoRA، QLoRA، یا مکمل فائن ٹیوننگ کے ساتھ معاونت یافتہ متنی ماڈلز کو فائن ٹیون کریں۔
• مسلسل پری ٹریننگ، زیرِ نگرانی فائن ٹیوننگ، اور ترجیحی ٹریننگ کے ذریعے متنی ماڈلز کو ٹرین کریں۔
• اسٹائلز، کرداروں، اور اشیا کے لیے Qwen-Image 2.1 LoRA اڈاپٹرز کو ٹرین کریں۔
• Hugging Face، مقامی فائلوں، یا بریو ماسٹر کے ساتھ بنائی گئی مثالوں سے ڈیٹا درآمد کریں۔
• فراہم کنندہ کی شرائط کا جائزہ لینے کے بعد اختیاری طور پر مصنوعی ڈیٹا یا ترجیحی جوڑے تیار کریں۔
• Empero Trace Format، یا ETF، کو گفتگو، ٹول کالز، استدلال، RAG دستاویزات، ترجیحات، خام متن، تکمیلوں، اور تصاویر کے لیے استعمال کریں۔
• ٹریننگ شروع ہونے سے پہلے میموری، وقت، اور لاگت کا تخمینہ لگائیں۔
• مقامی طور پر یا Runpod، Vast.ai، یا کسی دوسرے SSH سرور پر ٹریننگ چلائیں۔
• تیار کردہ ماڈل کارڈ اور لائسنس فائلوں کے ساتھ اڈاپٹرز یا ضم شدہ ماڈلز برآمد کریں۔
• نتائج کو Hugging Face پر اپ لوڈ کریں، جہاں ڈیفالٹ طور پر وہ نجی رہتے ہیں۔

بریوری انسٹال کریں

بریوری کو GitHub ریپوزٹری سے pip کے ذریعے انسٹال کیا جاتا ہے:

pip install "brewery-ai @ git+https://github.com/empero-org/brewery-ai"

ایپلیکیشن شروع کریں:

brewery

پہلی بار چلنے پر Brewery پوچھتی ہے کہ کون سا AI آپ کی رہنمائی کرے اور اس کی API key طلب کرتی ہے۔ اسناد مقامی طور پر ایسی فائلوں میں محفوظ کی جاتی ہیں جنہیں صرف آپ پڑھ سکتے ہیں۔ سیٹ اپ آپ کی تجربے کی سطح اور پروجیکٹ کا نام بھی پوچھتا ہے، پھر ایک پروجیکٹ فولڈر بناتا ہے۔

مقامی GPU کے لیے ٹریننگ سپورٹ انسٹال کریں

اگر آپ NVIDIA GPU پر ٹریننگ کا ارادہ رکھتے ہیں تو ٹریننگ extras انسٹال کریں۔ یہ کمانڈ CUDA-compatible PyTorch build بھی انسٹال کرتی ہے:

pip install "brewery-ai[train] @ git+https://github.com/empero-org/brewery-ai"

AMD GPUs کے لیے پہلے مناسب ROCm build of PyTorch انسٹال کریں، پھر Brewery کو training extras کے ساتھ انسٹال کریں۔ Windows پر PIP_CONSTRAINT=constraints-windows-rocm.txt سیٹ رکھیں تاکہ pip AMD PyTorch کی موجودہ انسٹالیشن برقرار رکھے۔

Apple Silicon اور صرف CPU والے سسٹمز چھوٹی ٹیسٹ رنز کے لیے موزوں ہیں، جبکہ بریو ماسٹر بڑے ماڈلز کے لیے GPU کرائے پر لینے کی رہنمائی کر سکتا ہے۔

اپنی پہلی رہنمائی یافتہ بریو شروع کریں

brewery شروع کرنے کے بعد، سادہ زبان میں بیان کریں کہ آپ کون سا ماڈل بنانا چاہتے ہیں۔ مثال کے طور پر:

a chatbot that explains chemistry like a friendly pirate

بریو ماسٹر اس خیال کو ایک واضح ٹریننگ پلان میں تبدیل کرتا ہے۔ یہ مطلوبہ رویے، دستیاب ہارڈویئر، ماڈل کے سائز، ٹریننگ کے طریقے، ڈیٹا کی ضروریات، تخمینی لاگت، اور لائسنس کی پابندیوں کو مدِنظر رکھ سکتا ہے۔ اگر موجودہ کمپیوٹر میں مناسب GPU نہ ہو تو یہ 24 GB کا کرائے کا GPU تجویز کر سکتا ہے اور تقریباً چلنے والی لاگت کا تخمینہ دے سکتا ہے۔

وہ تمام اقدامات جن میں رقم خرچ ہوتی ہے، سافٹ ویئر انسٹال ہوتا ہے، ڈیٹا کسی اور جگہ بھیجا جاتا ہے، یا ماڈل شائع ہوتا ہے، Brewery کے اندر تصدیق کے متقاضی ہیں۔ AI گائیڈ ان اشاروں کو نظرانداز نہیں کر سکتا، اور پاس ورڈز، API keys، اور ٹوکنز چیٹ کے ذریعے منتقل نہیں کیے جاتے۔

بریوری کے ورک فلو کی پیروی کریں

1. مقصد متعین کریں

وضاحت کریں کہ ماڈل کو کیا کرنا چاہیے، اسے کون سا انداز اختیار کرنا چاہیے، اسے کن موضوعات کا علم ہونا چاہیے، یا اسے کن ٹولز اور فارمیٹس کی معاونت کرنی چاہیے۔ بریو ماسٹر کے سوالات کے جوابات دیتے رہیں، یہاں تک کہ مقصد ٹریننگ اور جائزے کے لیے کافی مخصوص ہو جائے۔

2. کمپیوٹ منتخب کریں

موجودہ سسٹم کا جائزہ لینے کے لیے brewery hardware استعمال کریں:

brewery hardware

مقامی ٹریننگ سے پہلے Brewery ایک حقیقی GPU آپریشن انجام دیتی ہے تاکہ طویل جاب شروع ہونے سے پہلے ڈرائیور یا PyTorch کے مسائل ظاہر ہو جائیں۔ ریموٹ ٹریننگ کے لیے Brewery SSH سرور تیار کرنے، ضروری ڈیٹا اپ لوڈ کرنے، اور جاب کو الگ حالت میں چلانے میں مدد کرتی ہے تاکہ آپ کا ٹرمینل بند ہونے پر بھی یہ جاری رہے۔

3. بنیادی ماڈل منتخب کریں

Brewery متنی خاندانوں کی معاونت کرتی ہے، جن میں Qwen3، Qwen3.5، متعلقہ Qwen architectures، Qwen3.5 MoE، Llama 3.1 سے 3.3 تک، Gemma 3، اور Gemma 4 شامل ہیں۔ تصویری ٹریننگ کے لیے یہ Qwen-Image 2.1 LoRA اڈاپٹرز کی معاونت کرتی ہے۔

دستیاب بنیادی ماڈلز کا جائزہ لینے کے لیے ماڈل براؤزر استعمال کریں:

brewery models --modality text
brewery models --modality image
brewery models --all

بریو ماسٹر مقصد، ہارڈویئر، اور لائسنس کی ضروریات کو مدِنظر رکھتا ہے۔ جہاں قابلِ اطلاق ہو، یہ gated-model تک رسائی بھی چیک کرتا ہے۔

4. ٹریننگ ڈیٹا تیار کریں

آپ Hugging Face ڈیٹاسیٹس کو ڈاؤن لوڈ کیے بغیر تلاش اور پیش منظر دیکھ سکتے ہیں، مقامی فائلیں درآمد کر سکتے ہیں، بریو ماسٹر کے ساتھ مثالیں لکھ سکتے ہیں، یا موجودہ تصویری ڈیٹاسیٹ استعمال کر سکتے ہیں۔ مصنوعی ڈیٹا اختیاری ہے اور آپ کی ہدایات کے مطابق تیار کیا جاتا ہے۔ Brewery جنریشن سے پہلے فراہم کنندہ کی شرائط دکھاتی ہے۔

مثال کے طور پر، آپ بریو ماسٹر سے کسی موجودہ ڈیٹاسیٹ کو مخصوص انداز میں دوبارہ لکھنے، کسی ہدایت سے گفتگوئیں بنانے، یا DPO کے لیے ترجیحی جوڑے تیار کرنے کو کہہ سکتے ہیں۔ درآمد شدہ ڈیٹا کو صاف کرنے کے لیے یہ کمانڈ چلائیں:

brewery etf validate path/to/data.jsonl

پروجیکٹ کے اندر، ٹریننگ سیٹس data/_sets/ کے تحت محفوظ کیے جاتے ہیں۔ Brewery خالی، نقل شدہ، یا خراب ریکارڈز کو بیک اپ برقرار رکھتے ہوئے ہٹا سکتی ہے۔

5. ٹریننگ کا طریقہ منتخب کریں

ہر جاب کا ایک مقصد ہوتا ہے اور یہ پہلے کے کسی مرحلے سے شروع ہو سکتی ہے:

• SFT: کسی instruct ماڈل کو کسی رویے، انداز، فارمیٹ یا ٹول استعمال کرنے کے طریقے کی تعلیم دیتا ہے۔
• CPT پھر SFT: کسی بنیادی ماڈل کو خام ڈومین متن سے سکھاتا ہے، پھر اسے گفتگو کے انداز میں تعامل کرنے کی تربیت دیتا ہے۔
• SFT پھر DPO: پہلے مطلوبہ رویے کی تعلیم دیتا ہے، پھر منتخب کردہ جوابی جوڑوں کے ذریعے ترجیحات کو مزید بہتر بناتا ہے۔

اگلے مرحلے سے پہلے LoRA مراحل کو ان کے ابتدائی weights میں ضم کر دیا جاتا ہے، جس سے منسلک regimes صاف طور پر ایک دوسرے پر جمع ہو سکتے ہیں۔ Brewery کا propose_training_config ٹول معاونت یافتہ ماڈل رہنما اصولوں سے hyperparameters مکمل کرتا ہے اور دستیاب GPU کے مطابق recipe کا حجم طے کرتا ہے۔

6. تربیت چلائیں

تخمینی memory، وقت اور لاگت کا جائزہ لینے کے بعد تجویز کردہ recipe کی تصدیق کریں۔ تربیت منتخب مشین پر detached انداز میں چلتی ہے، جبکہ Brewery پیش رفت، loss اور تکمیل کا تخمینی وقت دکھاتا ہے۔ اگر کوئی job ناکام ہو جائے تو brewmaster سادہ زبان میں وضاحت اور تجویز کردہ حل پیش کرتا ہے۔

آپ jobs کو اس طرح دیکھ سکتے ہیں:

brewery status
brewery status JOB

ٹرمینل بند کرنے سے detached training job نہیں رکتی۔ project folder میں واپس جائیں اور session دوبارہ شروع کرنے کے لیے brewery چلائیں۔

7. نتیجہ آزمائیں

تربیت کے بعد نئے ماڈل پر prompts آزمائیں اور اس کے جوابات کا بنیادی ماڈل کے جوابات سے موازنہ کریں۔ ترجیحی tuning کے لیے Brewery ہر prompt کے دو امیدوار تیار کر سکتا ہے۔ آپ ٹرمینل میں بہتر جواب منتخب کر سکتے ہیں، یا guiding AI سے rubric کے ذریعے فیصلہ کرنے کو کہہ کر اس کے فیصلوں کا نمونہ وار جائزہ لے سکتے ہیں۔

مفید session commands میں شامل ہیں:

• /status موجودہ project اور job کی حالت دکھاتا ہے۔
• /jobs training jobs کی فہرست دکھاتا ہے۔
• /watch فعال کام کی پیش رفت دکھاتا ہے۔
• /level وضاحت کی سطح تبدیل کرتا ہے۔
• /usage استعمال کی معلومات دکھاتا ہے۔
• /help دستیاب commands کی فہرست دکھاتا ہے۔

8. برآمد اور اشاعت

نتیجہ تیار ہونے پر Brewery adapter یا merged model برآمد کر سکتا ہے، model card تیار کر سکتا ہے، متعلقہ licence فائلیں شامل کر سکتا ہے، اور ماڈل کو Hugging Face پر upload کر سکتا ہے۔ Model cards میں training regime، data sources، licences، credits اور تربیت سے پہلے اور بعد کے نمونے شامل کیے جا سکتے ہیں۔

Uploads پہلے سے private ہوتے ہیں۔ repository کو public کرنے سے پہلے model card اور licence کی ضروریات کا جائزہ لیں۔ کرائے کے infrastructure کا استعمال کرتے وقت server کو stop یا destroy کرنا یاد رکھیں: stopped pods اور instances اب بھی storage کی فیس لے سکتے ہیں۔

Preview Checkpoints کے ساتھ Image LoRAs کی تربیت

Qwen-Image 2.1 LoRA jobs کے لیے Brewery تربیت کے دوران preview تصاویر render کرتا ہے۔ یہ step zero پر ایک baseline set اور checkpoints پر اضافی sets بناتا ہے، جن میں یکساں seeds استعمال ہوتے ہیں، جس سے بصری موازنہ آسان ہو جاتا ہے۔

Preview فائلیں عموماً runs/<job>/samples/step_NNNNNN/ جیسے paths پر download ہوتی ہیں۔ ہر preview set کے ساتھ ایک متعلقہ checkpoint ہوتا ہے۔ اگر کوئی ابتدائی checkpoint حتمی نتیجے سے بہتر نظر آئے تو brewmaster سے اس checkpoint کو package کرنے کو کہیں۔

کسی session کے دوران مقامی side-by-side gallery شروع کرنے کے لیے /gallery استعمال کریں۔ یہ آپ کے کمپیوٹر پر http://127.0.0.1:8765/<random-token>/ جیسے local address پر serve ہوتی ہے اور باہر سے قابل رسائی نہیں ہوتی۔ نئی previews آنے پر gallery update ہوتی ہے، آپ تصاویر کو بڑا کر سکتے ہیں، اور بنیادی ماڈل کے ساتھ موازنہ کر سکتے ہیں۔

اعلیٰ درجے کی تجاویز

Guiding AI کا احتیاط سے انتخاب کریں

سب سے مضبوط رہنمائی کے لیے Claude تجویز کردہ انتخاب ہے، جبکہ OpenAI-compatible providers اور OpenRouter ماڈلز کے وسیع تر انتخاب پیش کرتے ہیں۔ Ollama اور LM Studio مقامی operation فراہم کرتے ہیں؛ اچھے نتائج کے لیے Brewery 14B یا اس سے بڑے مقامی ماڈل کی تجویز دیتا ہے جو tool calling کی صلاحیت رکھتا ہو۔ جن ماڈلز میں native tool calling نہ ہو، انہیں پھر بھی خودکار text protocol کے ذریعے چلایا جا سکتا ہے۔

Guiding model کو کسی بھی وقت اس command سے تبدیل کریں:

brewery setup

مستقل Data Pipelines کے لیے ETF استعمال کریں

ETF مختلف training materials کے لیے ایک JSONL format فراہم کرتا ہے، جس میں chats، system prompts، tool schemas اور calls، reasoning، RAG documents، preference pairs، raw text، completions اور images شامل ہیں۔ اس سے data کو validate کرنا اور project stages کے درمیان منتقل کرنا آسان ہو جاتا ہے۔ format کی تفصیلات کے لیے ETF documentation دیکھیں۔

Terminal کا رویہ ایڈجسٹ کریں

محدود terminals کے لیے interface کو آسان بنانے یا synthetic-data generation کو control کرنے کے لیے environment variables استعمال کریں:

BREWERY_AI_PLAIN_INPUT=1
BREWERY_AI_SIMPLE_PROMPTS=1
BREWERY_AI_THINKING=off
BREWERY_AI_SYNTH_WORKERS=4

BREWERY_AI_SYNTH_WORKERS 1 سے 16 تک کی values قبول کرتا ہے۔ thinking display کو on، full یا off پر set کیا جا سکتا ہے۔

Project Layout سمجھیں

Brewery project میں فیصلے، datasets، jobs، نتائج اور conversation history ایک ساتھ رکھی جاتی ہے:

my-project/
  brewery.yaml
  data/
  data/_sets/<name>/
  runs/<job_id>/
  .brewery/

Paths project کے لحاظ سے relative اور forward slashes کے ساتھ محفوظ کیے جاتے ہیں، اس لیے project کو مختلف computers اور operating systems کے درمیان منتقل کیا جا سکتا ہے۔ User settings ~/.config/brewery-ai/ یا Windows پر %APPDATA%\brewery-ai\ میں محفوظ ہوتی ہیں۔

نتیجہ

Brewery ماڈل fine-tuning کو ایک رہنمائی یافتہ اور قابلِ معائنہ workflow میں بدل دیتا ہے۔ control-plane application انسٹال کریں، قابل brewmaster منتخب کریں، اپنا مقصد بیان کریں، data تیار اور validate کریں، hardware-aware recipe منظور کریں، اور Brewery کو training، testing، export اور publishing سنبھالنے دیں۔ ایک چھوٹے SFT project سے شروع کریں، پھر اپنی ضروریات بڑھنے کے ساتھ chained CPT، SFT اور DPO regimes یا image LoRAs آزمائیں۔