ضبّط نماذج النصوص والصور بدقّة مع سير عمل Homebrew الموجّه بالذكاء الاصطناعي

شنو كيدير Homebrew

Homebrew هو وكيل موجَّه كيساعد فـ الضبط الدقيق ديال نماذج اللغة والصور. بلا ما يطلب منك تركّب سكريبتات وإعدادات التدريب يدويّاً، كيخليك تهضر مع brewmaster: نموذج ذكاء اصطناعي كيوجّه المشروع من الفكرة الأولى حتى لتحضير البيانات، والتدريب، والاختبار، والتصدير، والنشر.

الـ brewmaster يقدر يكون Claude، أو نموذج من OpenAI، أو نموذج كتوصّل ليه عبر OpenRouter، أو نموذج محلي ديال Ollama ولا LM Studio، أو سيرفر آخر متوافق مع OpenAI. التوجيه كيتكيّف مع مستوى التجربة اللي اخترتي: مبتدئ، هاوي، بنّاء، ولا خبير.

Homebrew مصمّم باش يعاون فـ سيرورة العمل كاملة:

• تحويل فكرة عامة على نموذج لهدف تدريب واضح.
• اكتشاف العتاد المحلي ولا تجهيز سيرفر GPU بعيد عبر SSH.
• اختيار نموذج أساسي وطريقة تدريب متوافقين.
• البحث على بيانات التدريب، واستيرادها، وتنقيتها، ومعاينتها، ولا توليدها.
• اقتراح hyperparameters داخل الإرشادات الخاصة بكل نموذج.
• تشغيل مهام تدريب منفصلة والإبلاغ على loss والتقدم والوقت المتبقي المتوقع.
• اختبار النتيجة مقارنة مع النموذج الأساسي الأصلي.
• تصدير adapter ولا نموذج مدموج.
• إنشاء بطاقة للنموذج ورفع النتيجة إلى Hugging Face.

Homebrew كيطلب التأكيد قبل صرف الفلوس، أو تثبيت البرامج، أو إرسال البيانات لمزوّد خارجي، أو نشر نموذج. كلمات السر، ومفاتيح API، والـ tokens ما كيدوزوش عبر المحادثة.

سيرورات التدريب المدعومة

نماذج النصوص

Homebrew كيدعم عائلات النماذج المدرجة، بما فيها Qwen3 وQwen3.5 والبنيات المتوافقة مع Qwen، وQwen3.5 MoE، وLlama من 3.1 حتى 3.3، وGemma 3، وGemma 4. حسب النموذج والعتاد المتوفر، التدريب يقدر يستعمل LoRA أو QLoRA أو الضبط الدقيق الكامل.

كل مهمة تدريب نصي عندها واحد من ثلاثة أهداف:

• SFT: ضبط دقيق تحت الإشراف لتعليم نموذج instruct سلوكاً، أو أسلوباً، أو صيغة جواب، أو نمط استعمال الأدوات.
• CPT: مواصلة التدريب القبلي على نص خام، وغالباً كتستعمل باش يتعلّم النموذج الأساسي مجالاً أو لغة.
• DPO: ضبط التفضيلات باستعمال الأجوبة المختارة والمرفوضة.

هاد الأهداف يقدرو يتسلسلو. الأنظمة الشائعة فيها SFT بوحدو، وCPT من بعدو SFT، وSFT من بعدو DPO. ملي كتتسلسل مراحل LoRA، Homebrew كيدمج كل مرحلة مع الأوزان اللي بدات بها قبل ما يبدا المرحلة الموالية.

نماذج الصور

فـ تدريب الصور، Homebrew كيدعم adapters ديال LoRA لـ Qwen-Image 2.1. هاد الـ adapters يقدرو يستهدفو ستايلات، أو شخصيات، أو أشياء. أثناء التدريب، Homebrew يقدر يرندر صور معاينة فالخطوة صفر وفـ checkpoints لاحقة باستعمال seeds ثابتة، وهادشي كيسهّل المقارنة البصرية.

ثبّت Homebrew

تثبيت مستوى التحكّم

إلا كان التدريب غادي يدوز فـ سيرفر GPU مكتَرى ولا بعيد، الحاسوب المحلي ديالك غير محتاج تثبيت Homebrew الخفيف:

pip install "homebrew-ai @ git+https://github.com/empero-org/homebrew-ai"

بدا الواجهة الموجّهة بهاد الأمر:

homebrew

تثبيت GPU محلي

إلا كان الحاسوب فيه GPU من NVIDIA وغادي يدير التدريب محلياً، ثبّت إضافات التدريب:

pip install "homebrew-ai[train] @ git+https://github.com/empero-org/homebrew-ai"

تقدر تتأكد من التثبيت، وإعداد المزوّد، وتسجيل الدخول إلى Hugging Face، والعتاد بهاد الأوامر:

homebrew doctor
homebrew hardware

باش تفحص سيرفر تدريب بعيد، مرّر أمر SSH ديالو:

homebrew hardware --ssh "ssh user@example-server"

إعداد الذكاء الاصطناعي الموجّه

فـ أول تشغيل، Homebrew كيسولك شنو هو الذكاء الاصطناعي اللي غادي يخدم كـ brewmaster. من بعد كيطلب مفتاح API الضروري، وكيخزّنو محلياً بصلاحيات محدودة، وكيطلب مستوى التجربة ديالك، وكيصايب مشروع.

أنواع المرشدين المتاحة هي:

• Claude: الـ README كيوصي بهاد الاختيار لأقوى توجيه.
• OpenAI: كيستعمل نموذج محادثة مع استدعاء الأدوات.
• OpenRouter: كيوفّر الولوج لعدة نماذج عبر مفتاح API واحد.
• Ollama أو LM Studio: كيخدم محلياً؛ المشروع كيوصي بنموذج فيه على الأقل 14B من المعاملات وكيستعمل استدعاء الأدوات باش يعطي نتائج مزيانة.
• Custom: كيربط مع endpoint متوافق مع OpenAI بحال vLLM ولا llama.cpp.

بدّل النموذج الموجّه من بعد بهاد الأمر:

homebrew setup

Homebrew كيعدّل السلوك ديالو حسب المرشد. النماذج القوية كتاخذ مجموعة الأدوات كاملة، بينما النماذج المحلية الأصغر كتاخذ أدوات خاصة بكل مرحلة وتوجيه أكثر تنظيماً. النماذج اللي ما عندهاش استدعاء أصلي للأدوات تقدر تستعمل بروتوكول النص ديال Homebrew بشكل تلقائي.

صايب أول مشروع ديالك للضبط الدقيق

تقدر تبدا فـ المجلد الحالي باستعمال homebrew، ولا تصايب مشروع مسمّى مباشرة:

homebrew new my-pirate-chemist
cd my-pirate-chemist
homebrew

وصف النتيجة اللي باغي باللغة العادية. مثلاً:

a chatbot that explains chemistry like a friendly pirate

الـ brewmaster غادي يطرح عليك أسئلة حتى يولي الهدف واضح ومحدد. من بعد كيفحص العتاد، وكيقترح نموذجاً أساسياً، وكيناقش متطلبات الترخيص، وكيحدد واش الحوسبة المحلية ولا المكتراة هي الأنسب.

تبع سيرورة التخمير

1. حدّد الهدف

شرح السلوك المقصود ديال النموذج، والجمهور، والمجال، وستايل المخرجات، ولا مفهوم الصورة. الأهداف المحددة كتعون الـ brewmaster يختار البيانات المناسبة وهدف التدريب الملائم.

2. اختار الحوسبة

Homebrew كيكتاشف العتاد المحلي. إلا ما كانش GPU مناسب من NVIDIA، يقدر يقترح GPU متوافق ويعطي أثمان تقريبية ديال Runpod وVast.ai. ما كينشئش حساب وما كيصرفش الفلوس بالنيابة عليك.

من بعد ما تكري الماكينة، لسّق الأمر ديال SSH اللي عطاك المزوّد فالجلسة الموجّهة. Homebrew يقدر من بعد يفحص العتاد، يوجّد البيئة، يرفع البيانات، يبدا التدريب، ويرجّع النتائج.

النسخ السحابية اللي توقفات تقدر تبقى كتتحاسب على التخزين. دمّر الموارد اللي كريتي منين يسالي المشروع.

3. اختار موديل أساسي

البروماستر كيقترح موديل على حساب الهدف، والذاكرة المتوفرة، وطريقة التدريب المقصودة، ومتطلبات الترخيص. وكيتحقق حتى واش الولوج لموديل مقيّد متوفر.

إلى بغيتي تشوف الموديلات المدعومة براسك، استعمل:

homebrew models
homebrew models --modality text --all
homebrew models --modality image --all

4. وجّد البيانات

بيانات التدريب تقدر تجي من Hugging Face، أو من ملفات محلية، أو من أمثلة كتكتبها باستعمال البروماستر، أو من التوليد الاصطناعي الاختياري. Homebrew يقدر يقلب فمجموعات بيانات Hugging Face ويعاينها بلا ما يحمّلها الأول.

توليد البيانات الاصطناعية اختياري. يقدر ينشئ محادثات انطلاقاً من موجز، يعاود يكتب مجموعة بيانات موجودة بالأسلوب المطلوب، أو ينتج أزواج تفضيلات لـ DPO. الخدمة كتتحفظ كلما سالات دفعة، يعني إلغاء عملية التوليد ما كيمسحش الدفعات اللي كملات.

العملية clean_dataset كتحيد السجلات الخاوية، والمكررة، أو المعطوبة، وكتنشئ نسخة احتياطية. عاين السجلات المعالجة مزيان باش تتأكد أنها كتعلّم السلوك اللي باغي.

5. بنِ وصفة التدريب

العملية propose_training_config ديال Homebrew كتختار المعاملات الفائقة انطلاقاً من إرشادات الموديل المدعوم، وكتحدد حجم المهمة على حساب الـGPU المتوفر. قبل ما يبدا التدريب، Homebrew كيقدّر استعمال الذاكرة، والمدة، والتكلفة.

6. شغّل التدريب وراقبو

التدريب كيجري كعملية منفصلة فالماكينة اللي فيها الـGPU. تسدّ التيرمينال المحلي ما كيوقفش المهمة. رجع لمجلد المشروع وشغّل homebrew باش تكمل المحادثة.

من أوامر المراقبة المفيدة:

homebrew status
homebrew status JOB_ID

داخل جلسة تفاعلية، استعمل:

/status
/jobs
/watch

Homebrew كيتبع التقدم، وكيعرض منحنى الخسارة والوقت التقريبي المتبقي، وكيعطي شرح واضح ملي كيوقع شي فشل.

7. جرّب الموديل

من بعد التدريب، جرّب مطالب على الموديل المضبوط وقارن الأجوبة ديالو مع أجوبة الموديل الأساسي. هاد الشي يقدر يبيّن واش الموديل الجديد تعلّم الأسلوب أو السلوك المطلوب بلا ما يضر بجودة الأجوبة العامة.

8. صدّر وشارك

Homebrew يقدر يعبّي النتيجة فشكل محوّل أو موديل مدموج. وكيولّد حتى بطاقة للموديل كتغطي نظام التدريب، والبيانات، والتراخيص، والاعتمادات، والأمثلة المهمة. الرفع لـHugging Face كيكون خاص بشكل افتراضي.

فحوصات الترخيص كتشمل اعتبارات بحال متطلبات التسمية ديال Llama، وشروط Gemma، والتنبيهات المتعلقة بالمجموعات أو الموديلات غير التجارية.

التدريب النصي المتقدم: CPT وSFT وDPO

استعمل CPT ومن بعد SFT

اختار CPT ملي كيحتاج الموديل الأول يتعرّف على بيانات خام من المجال أو اللغة. ومن بعد تبعو بـSFT باش تعلّمو السلوك الحواري. كل مهمة لاحقة كتشير للمرحلة السابقة باستعمال init_from.

Base model -> CPT on raw text -> SFT on conversations

حسّن التفضيلات باستعمال DPO

من بعد SFT، يقدر DPO يحسّن التفضيلات ديال خصائص بحال النبرة، والبنية، أو أسلوب الجواب. أزواج التفضيلات تقدر تجي من Hugging Face، أو من التوليد الاصطناعي، أو من الموديل اللي تدرّب جديد.

Homebrew يقدر يولّد جوج أجوبة مرشحة لكل مطلب باستعمال generate_candidates. تقدر تختار الجواب الأحسن فالترمينال باستعمال review_candidates، أو تطلب من الذكاء الاصطناعي الموجّه يحكم على المرشحين باستعمال معيار، ومن بعد تراجع بعض القرارات عشوائياً.

Base model -> SFT -> generate candidate pairs -> review preferences -> DPO

الاحتمالات اللوغاريتمية المرجعية ديال DPO كيتحسبو مرة وحدة انطلاقاً من الموديل اللي بدات به المرحلة، وبهذا ما كيحتاجش موديل ثاني يبقى فذاكرة الـGPU. هاد الشي كينطبق على كل من LoRA والضبط الكامل.

راقب LoRA ديال الصور بصرياً

مهام Qwen-Image 2.1 LoRA تقدر تولّد معاينة بالموديل الأساسي فالخطوة صفر، ومجموعة معاينات جديدة فكل نقطة تحقق مهيّأة. المطالب والبذور العشوائية كيبقاو ثابتين، وهاد الشي كيخلي مقارنة نقاط التحقق مفيدة.

المعاينات المحمّلة كتتحفظ فـ:

runs/<job>/samples/step_NNNNNN/

ضمّن كلمة التفعيل ديال المحوّل فمطالب المعاينة. إلا بان شي نقطة تحقق سابقة أحسن من الأخيرة، طلب من البروماستر يعبّي لك داك النقطة.

إلى بغيتي واجهة متصفح للمقارنة جنباً إلى جنب، دخل:

/gallery

المعرض كيتخدم محلياً فعنوان 127.0.0.1 فيه رمز، وما يمكنش الوصول ليه من برا الحاسوب. الصفوف كتمثل نقاط التحقق، والأعمدة كتمثل مطالب المعاينة. المعرض كيتحدّث أثناء التدريب، كيدعم تكبير الصور، وكيخليك تتنقل بين نقاط التحقق بمفاتيح الأسهم، وكيستعمل C باش تقارن النتيجة مع الموديل الأساسي.

فهم بيانات ETF

Homebrew كيستعمل Empero Trace Format، أو ETF، كصيغة موحّدة لـJSON Lines. ETF يقدر يمثل المحادثات، ومطالب النظام، ومخططات واستدعاءات الأدوات، والاستدلال، ووثائق الاسترجاع، وأزواج التفضيلات، والنص الخام، والإكمالات، والصور.

استعمل مجموعة أوامر ETF باش تفحص الملفات وتديرها:

homebrew etf validate dataset.jsonl
homebrew etf stats dataset.jsonl
homebrew etf convert
homebrew etf schema

شوف وثائق ETF ديال المشروع باش تعرف البنية الكاملة ديالو.

أوامر مفيدة وضوابط الجلسة

• homebrew: بدا ولا كمّل المشروع الحالي.
• homebrew new NAME: صايب مشروع.
• homebrew setup: اختار ولا بدّل الذكاء الاصطناعي اللي غادي يوجّهك.
• homebrew doctor: تفقّد التثبيت، مزوّد الذكاء الاصطناعي، تسجيل الدخول لـ Hugging Face، والعتاد.
• homebrew hardware: عرض تقرير على العتاد المحلي ولا البعيد.
• homebrew models: عرض الموديلات الأساسية المدعومة.
• homebrew status JOB: تفقّد مهام التدريب.

داخل الجلسة، /level كيبدّل مستوى الشرح، /usage كيعرض معلومات الاستعمال، /thinking full كيوسّع العرض المرئي ديال طريقة التفكير ديال brewmaster، /thinking off كيخبيه، و/quit كيخرج من الجلسة.

نصائح متقدمة للإعداد

كيّف Homebrew مع التيرمينالات المحدودة

Homebrew كيوفّر متغيّرات البيئة باش يبسّط الواجهات ديال التيرمينال:

HOMEBREW_AI_PLAIN_INPUT=1 homebrew
HOMEBREW_AI_SIMPLE_PROMPTS=1 homebrew
HOMEBREW_AI_THINKING=off homebrew

HOMEBREW_AI_PLAIN_INPUT كيعوّض شريط الإدخال المؤطّر بموجّه عادي. HOMEBREW_AI_SIMPLE_PROMPTS كيستعمل اختيارات مرقّمة بلاصة القوائم اللي كتتحكّم فيها بمفاتيح الأسهم. HOMEBREW_AI_THINKING كيقبل on أو full أو off.

تحكّم فالتوازي ديال توليد البيانات الاصطناعية

التوليد الاصطناعي كيدعم ما بين عامل واحد وستة عشر عامل متوازي. مثال:

HOMEBREW_AI_SYNTH_WORKERS=4 homebrew

اختار قيمة كتحترم حدود معدل الاستعمال والقيود ديال الحساب عند المزوّد ديالك.

تفقّد ملفات المشروع

المشروع العادي كيكون فيه:

my-project/
  homebrew.yaml
  data/
  data/_sets/<name>/
  runs/<job_id>/
  .homebrew/

• homebrew.yaml كيخزّن القرارات والحالة، بما فيها الهدف، والموديل، والحوسبة، ومجموعات البيانات، والمهام، وعمليات التصدير.
• data/ فيه مجموعات بيانات ETF والبيانات الوصفية اللي كتشرح المصادر، والرخص، وعمليات المطابقة.
• data/_sets/<name>/ فيه مجموعات التدريب والتقييم المُنشأة.
• runs/<job_id>/ كيخزّن إعدادات المهمة، والبيانات المنسوخة، والحالة، والمقاييس، والسجلات، والنتائج النهائية.
• .homebrew/ فيه سجل المحادثة المستعمل لاستئناف الجلسة.

إعدادات المستخدم كتتخزّن فـ ~/.config/homebrew-ai/. بيانات الدخول كتكون فـ credentials.yaml بصلاحيات 600. ويمكن تحط بروفايلات إضافية للموديلات فـ ~/.config/homebrew-ai/profiles/ باستعمال نفس البنية ديال البروفايلات المرفقة.

توصيات عملية

1. بدا بهدف محدود. سلوك دقيق ولا فكرة بصرية محددة أسهل فالتقييم من هدف عام متعدد الاستعمالات.
2. عاين سجلات التدريب النهائية. التنقية وإعادة الصياغة الأسلوبية يقدرو يبدّلو شنو كيشوف الموديل، لذلك تفقّد أمثلة ممثّلة قبل التدريب.
3. بدا بـ SFT فالتغييرات السلوكية. استعمل سلاسل أكثر تعقيداً غير ملي كيحتاج المشروع فعلاً لتدريب مسبق على المجال ولا لتحسين التفضيلات.
4. قارن مع الموديل الأساسي. الاختبارات جنباً لجنب كتسهّل تحديد واش التدريب دار تحسّن مفيد.
5. راجع الرخص قبل النشر. النتائج ديالك ملكك، مع مراعاة رخص الموديلات الأساسية ومجموعات البيانات المستعملة.
6. حافظ على نقاط التحقّق المفيدة. خصوصاً فـ LoRA ديال تدريب الصور، نقطة التحقّق الأقوى بصرياً ماشي بالضرورة هي الأخيرة.
7. حبس البنية التحتية المكتراة. وقّف ودمّر موارد السحابة من بعد ما تهبط النتائج وتتأكّد منها.

الخلاصة

Homebrew كيحوّل الضبط الدقيق ديال الموديلات لسير عمل موجّه وحواري، مع الحفاظ على التحكّم فالبيانات، والتكاليف، والتثبيت، والنشر. كيدعم مشاريع SFT البسيطة، وكذلك سلاسل CPT وSFT وDPO، وزيد عليها تدريب Qwen-Image LoRA المعتمد على نقاط التحقّق. بدا بتثبيت أداة سطر الأوامر، واختار دليلاً قادرًا، وشرح هدفاً مركزاً، وخلي brewmaster يدوز معاك على كل خطوة مؤكّدة.

باش تلقى الكود المصدري والتوثيق الحالي، زُر مستودع Homebrew على GitHub. Homebrew عندو الرخصة ديالو: شروط على نمط MIT كتطبّق على الأفراد والمنظمات حتى لحدّ المداخيل المذكور فالمستودع، أما المنظمات الكبيرة فخاصها رخصة تجارية.