Brewery দিয়ে নিজের AI মডেল তৈরি করুন: ধাপে ধাপে ফাইন-টিউনিং টিউটোরিয়াল

ব্রিউয়ারি কী?

ব্রিউয়ারি হলো ভাষা ও ইমেজ মডেল ফাইন-টিউন করার জন্য একটি নির্দেশিত এজেন্ট। আপনি ব্রিউমাস্টার নামে পরিচিত নির্বাচিত AI গাইডের সঙ্গে কথোপকথনে কী তৈরি করতে চান তা বর্ণনা করেন। এরপর ব্রিউয়ারি লক্ষ্য নির্ধারণ, বেস মডেল নির্বাচন, ডেটা প্রস্তুত, নিরাপদ হাইপারপ্যারামিটার বাছাই, প্রশিক্ষণ চালানো, ফলাফল পরীক্ষা এবং সম্পূর্ণ মডেল প্রকাশে সহায়তা করে।

ব্রিউমাস্টার Claude, OpenAI-সামঞ্জস্যপূর্ণ কোনো মডেল, OpenRouter, অথবা Ollama বা LM Studio-এর মাধ্যমে চালিত স্থানীয় মডেল হতে পারে। ব্রিউয়ারি আপনার অভিজ্ঞতার স্তর অনুযায়ী ব্যাখ্যা ও সরঞ্জাম মানিয়ে নেয়: Beginner, Hobbyist, Builder অথবা Expert।

আপনার নিজস্ব NVIDIA বা AMD GPU-তে প্রশিক্ষণ চালানো যায়, অথবা SSH-এর মাধ্যমে ব্যবহৃত ভাড়া করা সার্ভারে চালানো যায়। অন্য কোথাও প্রশিক্ষণ চললে ব্রিউয়ারি চালানো ল্যাপটপটির শুধু কন্ট্রোল প্লেন হিসেবে কাজ করলেই হয়।

প্রধান বৈশিষ্ট্য

• LoRA, QLoRA অথবা সম্পূর্ণ ফাইন-টিউনিং ব্যবহার করে সমর্থিত টেক্সট মডেল ফাইন-টিউন করুন।
• Continued pretraining, supervised fine-tuning এবং preference tuning-এর মাধ্যমে টেক্সট মডেল প্রশিক্ষণ দিন।
• স্টাইল, চরিত্র ও বস্তুর জন্য Qwen-Image 2.1 LoRA অ্যাডাপ্টার প্রশিক্ষণ দিন।
• Hugging Face, স্থানীয় ফাইল অথবা ব্রিউমাস্টারের সাহায্যে তৈরি উদাহরণ থেকে ডেটা আমদানি করুন।
• প্রোভাইডারের শর্তাবলি পর্যালোচনা করার পর ঐচ্ছিকভাবে সিনথেটিক ডেটা বা preference pair তৈরি করুন।
• কথোপকথন, টুল কল, reasoning, RAG ডকুমেন্ট, preference, raw text, completion এবং image-এর জন্য Empero Trace Format বা ETF ব্যবহার করুন।
• প্রশিক্ষণ শুরুর আগে মেমোরি, সময় ও খরচের হিসাব করুন।
• স্থানীয়ভাবে অথবা Runpod, Vast.ai কিংবা অন্য কোনো SSH সার্ভারে প্রশিক্ষণ চালান।
• জেনারেট করা model card ও licence file-সহ অ্যাডাপ্টার বা মার্জ করা মডেল এক্সপোর্ট করুন।
• ফলাফল Hugging Face-এ আপলোড করুন, ডিফল্টভাবে ব্যক্তিগতভাবে।

ব্রিউয়ারি ইনস্টল করুন

pip ব্যবহার করে GitHub repository থেকে ব্রিউয়ারি ইনস্টল করা যায়:

pip install "brewery-ai @ git+https://github.com/empero-org/brewery-ai"

অ্যাপ্লিকেশন চালু করুন:

brewery

প্রথমবার চালানোর সময় ব্রিউয়ারি জিজ্ঞাসা করে কোন AI আপনাকে নির্দেশনা দেবে এবং সেই AI-এর API key চায়। ক্রেডেনশিয়ালগুলো শুধু আপনার পড়ার উপযোগী স্থানীয় ফাইলে সংরক্ষণ করা হয়। প্রজেক্ট ফোল্ডার তৈরির আগে সেটআপে আপনার অভিজ্ঞতার স্তর ও প্রজেক্টের নামও জানতে চাওয়া হয়।

স্থানীয় GPU-এর জন্য প্রশিক্ষণ সহায়তা ইনস্টল করুন

NVIDIA GPU-তে প্রশিক্ষণের পরিকল্পনা থাকলে training extras ইনস্টল করুন। এই কমান্ডটি CUDA-সামঞ্জস্যপূর্ণ PyTorch build-ও ইনস্টল করে:

pip install "brewery-ai[train] @ git+https://github.com/empero-org/brewery-ai"

AMD GPU-এর জন্য প্রথমে উপযুক্ত ROCm build of PyTorch ইনস্টল করুন, তারপর training extras-সহ ব্রিউয়ারি ইনস্টল করুন। Windows-এ PIP_CONSTRAINT=constraints-windows-rocm.txt সেট করা রাখুন, যাতে pip AMD PyTorch installation-টি অপরিবর্তিত রাখে।

Apple Silicon এবং শুধু CPU-নির্ভর সিস্টেম ছোট পরীক্ষামূলক রান-এর জন্য উপযুক্ত। বড় মডেলের জন্য GPU ভাড়া নেওয়ার দিকেও ব্রিউমাস্টার আপনাকে নির্দেশনা দিতে পারে।

আপনার প্রথম নির্দেশিত ব্রিউ শুরু করুন

brewery চালু করার পর আপনি যে মডেল তৈরি করতে চান তা সাধারণ ভাষায় বর্ণনা করুন। যেমন:

a chatbot that explains chemistry like a friendly pirate

ব্রিউমাস্টার এই ধারণাকে একটি নির্দিষ্ট প্রশিক্ষণ পরিকল্পনায় রূপ দেয়। এটি কাঙ্ক্ষিত আচরণ, উপলভ্য হার্ডওয়্যার, মডেলের আকার, প্রশিক্ষণ পদ্ধতি, ডেটার প্রয়োজনীয়তা, আনুমানিক খরচ এবং লাইসেন্সের সীমাবদ্ধতা বিবেচনা করতে পারে। বর্তমান কম্পিউটারে উপযুক্ত GPU না থাকলে এটি 24 GB GPU ভাড়া নেওয়ার পরামর্শ দিতে পারে এবং আনুমানিক চলতি খরচ হিসাব করতে পারে।

অর্থ ব্যয়, সফটওয়্যার ইনস্টল, অন্য কোথাও ডেটা পাঠানো বা মডেল প্রকাশের মতো সব কাজের জন্য ব্রিউয়ারির ভেতরে নিশ্চিতকরণ প্রয়োজন। AI গাইড এই নির্দেশনা এড়িয়ে যেতে পারে না, এবং পাসওয়ার্ড, API key ও token চ্যাটের মাধ্যমে পাঠানো হয় না।

ব্রিউয়ারি ওয়ার্কফ্লো অনুসরণ করুন

1. লক্ষ্য নির্ধারণ করুন

মডেলটি কী করবে, কোন স্টাইল ব্যবহার করবে, কোন বিষয়গুলো জানবে, অথবা কোন টুল ও ফরম্যাট সমর্থন করবে তা ব্যাখ্যা করুন। লক্ষ্যটি প্রশিক্ষণ ও মূল্যায়নের জন্য যথেষ্ট নির্দিষ্ট না হওয়া পর্যন্ত ব্রিউমাস্টারের প্রশ্নগুলোর উত্তর দিতে থাকুন।

2. কম্পিউট নির্বাচন করুন

বর্তমান সিস্টেম পরীক্ষা করতে brewery hardware ব্যবহার করুন:

brewery hardware

স্থানীয় প্রশিক্ষণের আগে ব্রিউয়ারি একটি বাস্তব GPU অপারেশন চালায়, যাতে দীর্ঘ কাজ শুরুর আগেই ড্রাইভার বা PyTorch-এর সমস্যা ধরা পড়ে। দূরবর্তী প্রশিক্ষণের জন্য ব্রিউয়ারি SSH সার্ভার প্রস্তুত, প্রয়োজনীয় ডেটা আপলোড এবং detached অবস্থায় কাজ চালাতে সহায়তা করে, যাতে টার্মিনাল বন্ধ করলেও কাজ চলতে থাকে।

3. একটি বেস মডেল নির্বাচন করুন

ব্রিউয়ারি Qwen3, Qwen3.5, সংশ্লিষ্ট Qwen architecture, Qwen3.5 MoE, Llama 3.1 থেকে 3.3, Gemma 3 এবং Gemma 4-সহ বিভিন্ন টেক্সট family সমর্থন করে। ইমেজ প্রশিক্ষণের জন্য এটি Qwen-Image 2.1 LoRA adapter সমর্থন করে।

উপলভ্য বেস মডেল পরীক্ষা করতে model browser ব্যবহার করুন:

brewery models --modality text
brewery models --modality image
brewery models --all

ব্রিউমাস্টার লক্ষ্য, হার্ডওয়্যার ও লাইসেন্সের প্রয়োজনীয়তা বিবেচনা করে। প্রযোজ্য ক্ষেত্রে gated-model access-ও পরীক্ষা করে।

4. প্রশিক্ষণ ডেটা প্রস্তুত করুন

ডাউনলোড না করেই Hugging Face dataset খুঁজে preview করতে পারেন, স্থানীয় ফাইল আমদানি করতে পারেন, ব্রিউমাস্টারের সাহায্যে উদাহরণ লিখতে পারেন, অথবা বিদ্যমান image dataset ব্যবহার করতে পারেন। সিনথেটিক ডেটা ঐচ্ছিক এবং আপনার brief অনুযায়ী তৈরি হয়। জেনারেশনের আগে ব্রিউয়ারি প্রোভাইডারের শর্তাবলি দেখায়।

উদাহরণস্বরূপ, আপনি ব্রিউমাস্টারকে কোনো বিদ্যমান dataset নির্দিষ্ট ভঙ্গিতে পুনর্লিখতে, brief থেকে কথোপকথন তৈরি করতে অথবা DPO-এর জন্য preference pair তৈরি করতে বলতে পারেন। এভাবে আমদানি করা ডেটা পরিষ্কার করুন:

brewery etf validate path/to/data.jsonl

কোনো প্রজেক্টের ভেতরে training set-গুলো data/_sets/-এর অধীনে সংরক্ষিত হয়। ব্যাকআপ রেখে ব্রিউয়ারি খালি, ডুপ্লিকেট বা ত্রুটিপূর্ণ record সরাতে পারে।

5. প্রশিক্ষণ পদ্ধতি নির্বাচন করুন

প্রতিটি job-এর একটি objective থাকে এবং এটি আগের কোনো stage থেকে শুরু হতে পারে:

• SFT: একটি ইনস্ট্রাক্ট মডেলকে কোনো আচরণ, শৈলী, ফরম্যাট বা টুল-ব্যবহারের ধরন শেখায়।
• CPT then SFT: কাঁচা ডোমেইন-টেক্সট থেকে একটি বেস মডেলকে শেখায়, এরপর সেটিকে কথোপকথনমূলকভাবে ইন্টার‌্যাক্ট করতে প্রশিক্ষণ দেয়।
• SFT then DPO: প্রথমে কাঙ্ক্ষিত আচরণ শেখায়, এরপর নির্বাচিত রেসপন্স জোড়া ব্যবহার করে পছন্দ আরও পরিশীলিত করে।

পরবর্তী ধাপে যাওয়ার আগে LoRA ধাপগুলো তাদের শুরুর ওজনের সঙ্গে মার্জ করা হয়, ফলে ধারাবাহিক রেজিমগুলো পরিষ্কারভাবে একটির ওপর আরেকটি স্তরায়িত হতে পারে। Brewery-এর propose_training_config টুল সমর্থিত মডেল নির্দেশিকা থেকে হাইপারপ্যারামিটার পূরণ করে এবং উপলভ্য GPU অনুযায়ী রেসিপের আকার নির্ধারণ করে।

৬. প্রশিক্ষণ চালান

অনুমান করা মেমরি, সময় ও খরচ পর্যালোচনা করে প্রস্তাবিত রেসিপে নিশ্চিত করুন। নির্বাচিত মেশিনে প্রশিক্ষণ বিচ্ছিন্নভাবে চলে, আর Brewery অগ্রগতি, লস এবং আনুমানিক সমাপ্তির সময় জানায়। কোনো কাজ ব্যর্থ হলে brewmaster সহজ ভাষায় ব্যাখ্যা ও প্রস্তাবিত সমাধান দেখায়।

আপনি এভাবে কাজগুলো পরিদর্শন করতে পারেন:

brewery status
brewery status JOB

টার্মিনাল বন্ধ করলেও বিচ্ছিন্নভাবে চলা প্রশিক্ষণ কাজ বন্ধ হয় না। প্রজেক্ট ফোল্ডারে ফিরে brewery চালিয়ে সেশন পুনরায় শুরু করুন।

৭. ফলাফল পরীক্ষা করুন

প্রশিক্ষণের পর নতুন মডেলে প্রম্পট পরীক্ষা করুন এবং এর উত্তরগুলো বেস মডেলের সঙ্গে তুলনা করুন। পছন্দ-ভিত্তিক টিউনিংয়ের ক্ষেত্রে Brewery প্রতিটি প্রম্পটের জন্য দুটি প্রার্থী তৈরি করতে পারে। টার্মিনালে ভালো উত্তরটি বেছে নিতে পারেন, অথবা guiding AI-কে একটি রুব্রিক দিয়ে বিচার করতে বলে তার সিদ্ধান্তগুলো নমুনাভিত্তিক যাচাই করতে পারেন।

উপযোগী সেশন কমান্ড:

• /status বর্তমান প্রজেক্ট ও কাজের অবস্থা দেখায়।
• /jobs প্রশিক্ষণ কাজের তালিকা দেখায়।
• /watch সক্রিয় কাজ অনুসরণ করে।
• /level ব্যাখ্যার স্তর পরিবর্তন করে।
• /usage ব্যবহারের তথ্য দেখায়।
• /help উপলভ্য কমান্ডের তালিকা দেখায়।

৮. রপ্তানি ও প্রকাশ

ফলাফল প্রস্তুত হলে Brewery একটি অ্যাডাপ্টার বা মার্জ করা মডেল রপ্তানি করতে, একটি মডেল কার্ড তৈরি করতে, প্রাসঙ্গিক লাইসেন্স ফাইল যুক্ত করতে এবং মডেলটি Hugging Face-এ আপলোড করতে পারে। মডেল কার্ডে প্রশিক্ষণ রেজিম, ডেটার উৎস, লাইসেন্স, ক্রেডিট এবং প্রশিক্ষণের আগে ও পরের নমুনা থাকতে পারে।

ডিফল্টভাবে আপলোডগুলো ব্যক্তিগত থাকে। রিপোজিটরি সর্বসাধারণের জন্য উন্মুক্ত করার আগে মডেল কার্ড ও লাইসেন্সের প্রয়োজনীয়তা পর্যালোচনা করুন। ভাড়া করা অবকাঠামো ব্যবহার করলে সার্ভার বন্ধ বা ধ্বংস করতে মনে রাখুন: বন্ধ করা pod ও instance-এর স্টোরেজের জন্য এখনও বিল হতে পারে।

প্রিভিউ চেকপয়েন্টসহ Image LoRA প্রশিক্ষণ

Qwen-Image 2.1 LoRA কাজের জন্য Brewery প্রশিক্ষণের সময় প্রিভিউ ছবি রেন্ডার করে। এটি ধাপ শূন্যে একটি বেসলাইন সেট এবং চেকপয়েন্টে অতিরিক্ত সেট তৈরি করে। সব ক্ষেত্রে একই seed ব্যবহার করা হয়, ফলে ভিজ্যুয়াল তুলনা সহজ হয়।

প্রিভিউ ফাইলগুলো runs/<job>/samples/step_NNNNNN/-এর মতো পথে ডাউনলোড হয়। প্রতিটি প্রিভিউ সেটের একটি সংশ্লিষ্ট চেকপয়েন্ট থাকে। আগের কোনো চেকপয়েন্ট চূড়ান্ত ফলাফলের চেয়ে ভালো দেখালে brewmaster-কে সেই চেকপয়েন্ট প্যাকেজ করতে বলুন।

সেশনের সময় /gallery ব্যবহার করে স্থানীয় পাশাপাশি-তুলনা গ্যালারি চালু করুন। এটি আপনার কম্পিউটারে http://127.0.0.1:8765/<random-token>/-এর মতো একটি স্থানীয় ঠিকানায় চালু হয় এবং বাইরের কোনো স্থান থেকে পৌঁছানো যায় না। নতুন প্রিভিউ এলে গ্যালারি আপডেট হয়, ছবিগুলো বড় করে দেখা যায় এবং বেস মডেলের সঙ্গে তুলনা করা যায়।

উন্নত টিপস

Guiding AI সতর্কতার সঙ্গে বেছে নিন

সবচেয়ে শক্তিশালী নির্দেশনার জন্য Claude সুপারিশ করা হয়, আর OpenAI-সামঞ্জস্যপূর্ণ প্রদানকারী ও OpenRouter আরও বিস্তৃত মডেল বিকল্প দেয়। Ollama ও LM Studio স্থানীয়ভাবে চালানোর সুবিধা দেয়; ভালো ফলাফলের জন্য Brewery টুল কলিং-সমর্থিত 14B বা তার চেয়ে বড় স্থানীয় মডেল সুপারিশ করে। নেটিভ টুল কলিং নেই এমন মডেলও স্বয়ংক্রিয় টেক্সট প্রোটোকলের মাধ্যমে চালানো যায়।

যেকোনো সময় এভাবে guiding model পরিবর্তন করুন:

brewery setup

সামঞ্জস্যপূর্ণ ডেটা পাইপলাইনের জন্য ETF ব্যবহার করুন

ETF বিভিন্ন ধরনের প্রশিক্ষণ উপকরণের জন্য একটি JSONL ফরম্যাট দেয়, যার মধ্যে রয়েছে চ্যাট, সিস্টেম প্রম্পট, টুল স্কিমা ও কল, রিজনিং, RAG ডকুমেন্ট, পছন্দের জোড়া, কাঁচা টেক্সট, কমপ্লিশন এবং ছবি। এতে প্রজেক্টের বিভিন্ন ধাপের মধ্যে ডেটা যাচাই ও স্থানান্তর সহজ হয়। ফরম্যাটের বিস্তারিত জানতে ETF documentation দেখুন।

টার্মিনালের আচরণ সমন্বয় করুন

সীমিত টার্মিনালের জন্য ইন্টারফেস সরল করতে বা সিন্থেটিক ডেটা তৈরি নিয়ন্ত্রণ করতে পরিবেশ ভেরিয়েবল ব্যবহার করুন:

BREWERY_AI_PLAIN_INPUT=1
BREWERY_AI_SIMPLE_PROMPTS=1
BREWERY_AI_THINKING=off
BREWERY_AI_SYNTH_WORKERS=4

BREWERY_AI_SYNTH_WORKERS-এর মান 1 থেকে 16 পর্যন্ত হতে পারে। চিন্তার প্রদর্শন on, full বা off করা যায়।

প্রজেক্টের বিন্যাস বুঝুন

একটি Brewery প্রজেক্টে সিদ্ধান্ত, ডেটাসেট, কাজ, ফলাফল এবং কথোপকথনের ইতিহাস একসঙ্গে থাকে:

my-project/
  brewery.yaml
  data/
  data/_sets/<name>/
  runs/<job_id>/
  .brewery/

পথগুলো ফরওয়ার্ড স্ল্যাশসহ প্রজেক্টের আপেক্ষিক হিসেবে সংরক্ষিত হয়, ফলে একটি প্রজেক্ট কম্পিউটার ও অপারেটিং সিস্টেমের মধ্যে স্থানান্তর করা যায়। ব্যবহারকারীর সেটিংস ~/.config/brewery-ai/-এ অথবা Windows-এ %APPDATA%\brewery-ai\-এ সংরক্ষিত হয়।

উপসংহার

Brewery মডেল ফাইন-টিউনিংকে একটি নির্দেশিত ও পরিদর্শনযোগ্য কর্মপ্রবাহে রূপ দেয়। কন্ট্রোল-প্লেন অ্যাপ্লিকেশন ইনস্টল করুন, সক্ষম brewmaster বেছে নিন, আপনার লক্ষ্য বর্ণনা করুন, ডেটা প্রস্তুত ও যাচাই করুন, হার্ডওয়্যার-সচেতন রেসিপে অনুমোদন দিন এবং প্রশিক্ষণ, পরীক্ষা, রপ্তানি ও প্রকাশনা Brewery-এর হাতে ছেড়ে দিন। একটি ছোট SFT প্রজেক্ট দিয়ে শুরু করুন, এরপর প্রয়োজন বাড়ার সঙ্গে ধারাবাহিক CPT, SFT ও DPO রেজিম অথবা image LoRA অনুসন্ধান করুন।