درّب الموديل ديالك بالذكاء الاصطناعي باستعمال Brewery: شرح تدريجي للضبط الدقيق

شنو هي Brewery؟

Brewery هي أداة موجّهة كتعاونك تدرّب نماذج اللغة والصور. كتشرح شنو بغيتي تبني فمحادثة مع دليل ذكاء اصطناعي كتختارو، وكيْتسمّى brewmaster. من بعد، Brewery كتعاونك تحدّد الهدف، تختار نموذج أساسي، توجد البيانات، تختار إعدادات فائقة آمنة، تشغّل التدريب، تختبر النتيجة، وتنشر النموذج اللي سالا.

الـ brewmaster يقدر يكون Claude، نموذج متوافق مع OpenAI، OpenRouter، أو نموذج محلي خدام عبر Ollama ولا LM Studio. Brewery كتكيّف الشروحات والأدوات ديالها مع مستوى التجربة ديالك: مبتدئ، هاوي، بنّاء، ولا خبير.

التدريب يقدر يخدم فوق GPU ديالك من NVIDIA ولا AMD، ولا فوق سيرفر مكتَرى كتدخل ليه عبر SSH. الحاسوب المحمول اللي خدام عليه Brewery خاصّو غير يكون هو لوحة التحكّم إلا كان التدريب كيدوز فبلاصة أخرى.

المزايا الرئيسية

• درّب نماذج النصوص المدعومة باستعمال LoRA أو QLoRA أو التدريب الكامل.
• درّب نماذج النصوص بالتدريب المسبق المتواصل، والتدريب المراقَب، وتدريب التفضيلات.
• درّب محوّلات Qwen-Image 2.1 LoRA ديال الأساليب، والشخصيات، والأشياء.
• دخّل البيانات من Hugging Face، أو من الملفات المحلية، أو من أمثلة كتوجدها مع الـ brewmaster.
• إلى بغيتي، ولّد بيانات اصطناعية ولا أزواج تفضيلات من بعد ما تراجع شروط المزوّد.
• استعمل Empero Trace Format، أو ETF، للمحادثات، واستدعاءات الأدوات، والاستدلال، ووثائق RAG، والتفضيلات، والنصوص الخام، والإكمالات، والصور.
• قدّر الذاكرة، والمدة، والتكلفة قبل ما يبدا التدريب.
• شغّل التدريب محلياً ولا على Runpod أو Vast.ai أو أي سيرفر آخر عبر SSH.
• صدّر المحوّلات ولا النماذج المدموجة مع بطاقة نموذج وملفات الرخصة مولّدين.
• طلّع النتائج لـ Hugging Face، وبشكل خاص افتراضياً.

ثبّت Brewery

كتتثبّت Brewery من مستودع GitHub باستعمال pip:

pip install "brewery-ai @ git+https://github.com/empero-org/brewery-ai"

بدا التطبيق بهاد الأمر:

brewery

فأول تشغيل، Brewery كتسولك شنو هو الذكاء الاصطناعي اللي غادي يوجّهك وكتطلب مفتاح API ديالو. بيانات الدخول كتتخزّن محلياً فملفات ما كيقدر يقراها غير نتا. الإعداد كيسولك حتى على مستوى التجربة ديالك واسم المشروع قبل ما ينشئ مجلد المشروع.

ثبّت دعم التدريب لـ GPU محلي

إلى كنت ناوي تدرّب فوق GPU من NVIDIA، ثبّت إضافات التدريب. هاد الأمر كيجيب حتى نسخة PyTorch المتوافقة مع CUDA:

pip install "brewery-ai[train] @ git+https://github.com/empero-org/brewery-ai"

بالنسبة لـ GPU ديال AMD، ثبّت أولاً نسخة ROCm ديال PyTorch المناسبة، ومن بعد ثبّت Brewery مع إضافات التدريب. فـ Windows، خلّي PIP_CONSTRAINT=constraints-windows-rocm.txt مضبوط باش pip يخلي تثبيت PyTorch ديال AMD فبلاصتو.

أجهزة Apple Silicon والأنظمة اللي ما فيهاش GPU مناسبة للتجارب الصغيرة بزاف، بينما الـ brewmaster يقدر يوجّهك باش تكري GPU للتدريب ديال النماذج الكبيرة.

بدا أول تدريب موجّه ديالك

من بعد ما تشغّل brewery، شرح بلغة عادية النموذج اللي بغيتي تبني. مثلاً:

a chatbot that explains chemistry like a friendly pirate

الـ brewmaster كيحوّل هاد الفكرة لخطة تدريب واضحة. يقدر ياخذ بعين الاعتبار السلوك المطلوب، والعتاد المتوفر، وحجم النموذج، وطريقة التدريب، ومتطلبات البيانات، والتكلفة المقدّرة، وقيود الرخصة. إلا ما كانش فالحاسوب الحالي GPU مناسب، يقدر يقترح GPU مكتَرى بسعة 24 GB ويقدّر التكلفة التقريبية للتشغيل.

أي إجراء كيصرف الفلوس، ولا كيثبّت برامج، ولا كيرسل البيانات لجهة أخرى، ولا كينشر نموذج، خاصّو تأكيد داخل Brewery. دليل الذكاء الاصطناعي ما يقدرش يتجاوز هاد التأكيدات، وكلمات السر، ومفاتيح API، والرموز ما كتدوزش عبر المحادثة.

تبع مسار العمل ديال Brewery

1. حدّد الهدف

شرح شنو خاص النموذج يدير، وشنو الأسلوب اللي خاصّو يستعمل، وشنو المواضيع اللي خاصّو يعرف، ولا شنو الأدوات والصيغ اللي خاصّو يدعم. بقا جاوب على أسئلة الـ brewmaster حتى يولي الهدف محدد بما يكفي للتدريب والتقييم.

2. اختار موارد الحوسبة

استعمل brewery hardware باش تشوف النظام الحالي:

brewery hardware

قبل التدريب المحلي، Brewery كتدير عملية حقيقية على GPU باش يبانُو مشاكل الدرايفر ولا PyTorch قبل ما تبدا خدمة طويلة. فالتدريب عن بُعد، Brewery كتعاونك توجد سيرفر SSH، وترفع البيانات الضرورية، وتشغّل الخدمة فخلفية النظام باش تبقى خدامة إلا سدّيتي الطرفية.

3. اختار النموذج الأساسي

Brewery كتدعم عائلات نصية بحال Qwen3، وQwen3.5، وبنيات Qwen المرتبطة، وQwen3.5 MoE، وLlama من 3.1 حتى 3.3، وGemma 3، وGemma 4. وبالنسبة لتدريب الصور، كتدعم محوّلات Qwen-Image 2.1 LoRA.

استعمل متصفح النماذج باش تشوف النماذج الأساسية المتوفرة:

brewery models --modality text
brewery models --modality image
brewery models --all

الـ brewmaster كياخذ بعين الاعتبار الهدف، والعتاد، ومتطلبات الرخصة. وكيْتحقق حتى من الولوج للنماذج المقيّدة إلا كان هاد الشي مطلوب.

4. وجد بيانات التدريب

تقدر تقلّب وتشوف معاينات ديال مجموعات بيانات Hugging Face بلا ما تحمّلها، ولا تدخل ملفات محلية، ولا تكتب أمثلة مع الـ brewmaster، ولا تستعمل مجموعة بيانات صور موجودة من قبل. البيانات الاصطناعية اختيارية وكتتشكّل حسب الطلب ديالك. Brewery كتعرض شروط المزوّد قبل التوليد.

مثلاً، تقدر تطلب من الـ brewmaster يعاود يكتب مجموعة بيانات موجودة بصوت معيّن، ولا ينشئ محادثات انطلاقاً من طلب، ولا يوجّد أزواج تفضيلات لـ DPO. نقّي البيانات اللي دخلتي بها:

brewery etf validate path/to/data.jsonl

داخل المشروع، مجموعات التدريب كتتخزّن فـ data/_sets/. Brewery تقدر تحيد السجلات الخاوية، والمكررة، ولا الخاسرة مع الاحتفاظ بنسخة احتياطية.

5. اختار نظام التدريب

كل خدمة عندها هدف وقدر تبدا من مرحلة سابقة:

• SFT: كيعلّم موديل instruction سلوك، ستيل، فورما، ولا طريقة ديال استعمال الأدوات.
• CPT ومن بعد SFT: كيتعلّم الموديل الأساسي من نصوص خام ديال المجال، ومن بعد كيتدرّب باش يتفاعل بطريقة حوارية.
• SFT ومن بعد DPO: فاللول كيتعلّم السلوك المرغوب، ومن بعد كيتحسّن الاختيار ديالو باستعمال أزواج مختارة ديال الأجوبة.

مراحل LoRA كيتدمجو فالأوزان اللي بدا بها الموديل قبل المرحلة الموالية، وهادشي كيخلي الأنظمة المتسلسلة تتراكم بنظافة. أداة propose_training_config ديال Brewery كتعمر hyperparameters انطلاقاً من الإرشادات المدعومة ديال الموديلات، وكتكيّف الوصفة مع الـGPU المتاح.

6. بدا التدريب

أكد الوصفة المقترحة من بعد ما تراجع الذاكرة والوقت والتكلفة المقدّرة. التدريب كيتشغل فالكواليس على الماكينة المختارة، وBrewery كيعرض التقدّم، والخسارة، والوقت المتوقع باش يسالي. إلا فشل شي job، brewmaster كيقدّم شرح واضح واقتراح للإصلاح.

تقدر تراقب الـjobs بهاد الأوامر:

brewery status
brewery status JOB

سدّ التيرمينال ما كيوقفش job ديال التدريب اللي خدام فالكواليس. رجع لفولدر المشروع وشغّل brewery باش تكمل السيشن.

7. جرّب النتيجة

من بعد التدريب، جرّب prompts على الموديل الجديد وقارن الأجوبة ديالو مع الموديل الأساسي. فـpreference tuning، Brewery يقدر يولّد جوج ديال المرشحين لكل prompt. تقدر تختار الجواب الأحسن فالتيرمينال، ولا تطلب من الـAI الموجّه يحكم باستعمال rubric ومن بعد تراجع بعض القرارات يدوياً.

من أوامر السيشن المفيدة:

• /status كيعرض حالة المشروع والـjob الحاليين.
• /jobs كيعرض لائحة ديال jobs التدريب.
• /watch كيتبع الخدمة النشيطة.
• /level كيبدّل مستوى الشرح.
• /usage كيعرض معلومات الاستعمال.
• /help كيعرض الأوامر المتاحة.

8. صدّر ونشّر

ملي كتكون النتيجة واجدة، Brewery يقدر يصدّر adapter ولا موديل مدموج، ويولّد model card، ويضمّن ملفات الرخص المناسبة، ويرفع الموديل لـHugging Face. الـmodel cards يقدرو يتضمنو نظام التدريب، مصادر البيانات، الرخص، المساهمين، وعينات قبل ومن بعد.

الرفع كيكون خاص بشكل افتراضي. راجع الـmodel card ومتطلبات الرخصة قبل ما تخلي المستودع عمومي. ملي كتستعمل بنية تحتية مكراة، تذكّر توقف السيرفر ولا تحيدو: الـpods والـinstances الموقوفين يقدرو يبقاو كيحسبو ثمن التخزين.

درّب LoRAs ديال الصور مع Checkpoints للمعاينة

فـjobs ديال Qwen-Image 2.1 LoRA، Brewery كيرندر صور للمعاينة أثناء التدريب. كينشئ مجموعة أساسية فالخطوة صفر، ومجموعات إضافية فـcheckpoints باستعمال seeds متناسقة، وهادشي كيسهّل المقارنة البصرية.

ملفات المعاينة كتهبط لمسارات بحال runs/<job>/samples/step_NNNNNN/. كل مجموعة معاينة عندها checkpoint مقابل. إلا بان checkpoint قديم حسن من النتيجة النهائية، طلب من brewmaster يجهّز داك checkpoint.

استعمل /gallery أثناء السيشن باش تبدا gallery محلية جنباً إلى جنب. كتتخدم فالحاسوب ديالك على عنوان محلي بحال http://127.0.0.1:8765/<random-token>/ وما كيمكنش الوصول ليها من برا. الـgallery كتتحدّث ملي كتوصل معاينات جديدة، وكتخليك تكبّر الصور، وكتدعم المقارنة مع الموديل الأساسي.

نصائح متقدمة

اختار الـAI الموجّه بعناية

Claude هو الاختيار الموصى به لأقوى توجيه، بينما المزوّدين المتوافقين مع OpenAI وOpenRouter كيوفرو اختيارات أوسع ديال الموديلات. Ollama وLM Studio كيوفرو تشغيل محلي؛ وBrewery كيوصي بموديل محلي ديال 14B ولا أكثر، مع tool calling باش تكون النتائج مزيانة. الموديلات اللي ما عندهاش tool calling أصلي تقدر حتى هي تسوقها من خلال بروتوكول نصي أوتوماتيكي.

بدّل الموديل الموجّه فـأي وقت بهاد الأمر:

brewery setup

استعمل ETF لخطوط بيانات منسجمة

ETF كيوفّر فورما واحد بصيغة JSONL لمواد تدريب مختلفة، منها المحادثات، system prompts، schemas وcalls ديال الأدوات، reasoning، وثائق RAG، أزواج التفضيلات، النصوص الخام، completions، والصور. هادشي كيسهّل التحقق من البيانات ونقلها بين مراحل المشروع. شوف وثائق ETF على تفاصيل الفورما.

عدّل سلوك التيرمينال

فالتيرمينالات المحدودة، استعمل environment variables باش تبسّط الواجهة ولا تتحكم فالتوليد ديال البيانات الاصطناعية:

BREWERY_AI_PLAIN_INPUT=1
BREWERY_AI_SIMPLE_PROMPTS=1
BREWERY_AI_THINKING=off
BREWERY_AI_SYNTH_WORKERS=4

BREWERY_AI_SYNTH_WORKERS كيقبل قيم من 1 حتى لـ16. عرض التفكير يقدر يتضبط على on ولا full ولا off.

فهم تنظيم المشروع

مشروع Brewery كيجمع القرارات، datasets، jobs، النتائج، وتاريخ المحادثات فبلاصة وحدة:

my-project/
  brewery.yaml
  data/
  data/_sets/<name>/
  runs/<job_id>/
  .brewery/

المسارات كتتخزّن نسبياً للمشروع وبـforward slashes، وهادشي كيخلي المشروع قابل للنقل بين الحواسيب وأنظمة التشغيل. إعدادات المستخدم كتتخزّن فـ~/.config/brewery-ai/ ولا، فـWindows، فـ%APPDATA%\brewery-ai\.

الخلاصة

Brewery كيحوّل fine-tuning ديال الموديلات لوركفلو موجّه وقابل للفحص. ثبّت تطبيق control plane، اختار brewmaster قادر، شرح الهدف ديالك، وجّهّز البيانات وتحقق منها، وافق على وصفة مراعية للعتاد، وخلي Brewery يدبّر التدريب، والاختبار، والتصدير، والنشر. بدا بمشروع SFT صغير، ومن بعد جرّب أنظمة CPT وSFT وDPO المتسلسلة ولا image LoRAs ملي تكبر الاحتياجات ديالك.