মূল কনটেন্টে যান
এআই টিউটোরিয়াল

Homebrew-এর নির্দেশিত AI ওয়ার্কফ্লো দিয়ে টেক্সট ও ইমেজ মডেল ফাইন-টিউন করুন

Homebrew ইনস্টল করা, নির্দেশনা দেওয়ার AI বেছে নেওয়া, ডেটা প্রস্তুত করা, নিরাপদ ফাইন-টিউনিং কাজ কনফিগার করা, ট্রেনিং পর্যবেক্ষণ করা, ফলাফল তুলনা করা এবং Hugging Face-এ মডেল প্রকাশ করা শিখুন। এই টিউটোরিয়ালে স্থানীয় ও ভাড়া করা GPU, টেক্সট ও ইমেজ LoRA ওয়ার্কফ্লো, ধারাবাহিক CPT/SFT/DPO রেজিম এবং কমান্ড-লাইন ব্যবহারের বাস্তব টিপস আলোচনা করা হয়েছে।

পড়তে প্রায় 32 মিনিট লাগবে
Homebrew-এর নির্দেশিত AI ওয়ার্কফ্লো দিয়ে টেক্সট ও ইমেজ মডেল ফাইন-টিউন করা

Homebrew যা করে

Homebrew ভাষা ও ইমেজ মডেল ফাইন-টিউন করার জন্য একটি নির্দেশিত এজেন্ট। আপনাকে প্রশিক্ষণ স্ক্রিপ্ট ও কনফিগারেশন হাতে হাতে সাজাতে না দিয়ে, এটি আপনাকে একজন ব্রুমাস্টার-এর সঙ্গে চ্যাট করতে দেয়: একটি AI মডেল, যা প্রাথমিক ধারণা থেকে ডেটা প্রস্তুতি, প্রশিক্ষণ, পরীক্ষা, এক্সপোর্ট ও প্রকাশনা পর্যন্ত পুরো প্রকল্পে নির্দেশনা দেয়।

ব্রুমাস্টার Claude, কোনো OpenAI মডেল, OpenRouter-এর মাধ্যমে ব্যবহৃত কোনো মডেল, স্থানীয় Ollama বা LM Studio মডেল, অথবা অন্য কোনো OpenAI-সামঞ্জস্যপূর্ণ সার্ভার হতে পারে। আপনার নির্বাচিত অভিজ্ঞতার স্তর অনুযায়ী নির্দেশনা বদলে যায়: Beginner, Hobbyist, Builder অথবা Expert।

Homebrew সম্পূর্ণ ওয়ার্কফ্লোতে সহায়তা করার জন্য তৈরি:

  • বিস্তৃত মডেল-ধারণাকে একটি নির্দিষ্ট প্রশিক্ষণ লক্ষ্যে রূপ দেওয়া।
  • স্থানীয় হার্ডওয়্যার শনাক্ত করা অথবা SSH-এর মাধ্যমে দূরবর্তী GPU সার্ভার প্রস্তুত করা।
  • সামঞ্জস্যপূর্ণ বেস মডেল ও প্রশিক্ষণ পদ্ধতি নির্বাচন করা।
  • প্রশিক্ষণ ডেটা খুঁজে বের করা, ইমপোর্ট করা, পরিষ্কার করা, প্রিভিউ করা অথবা তৈরি করা।
  • মডেল-নির্দিষ্ট নির্দেশিকার মধ্যে হাইপারপ্যারামিটার প্রস্তাব করা।
  • বিচ্ছিন্ন প্রশিক্ষণ কাজ চালানো এবং loss, অগ্রগতি ও ETA জানানো।
  • মূল বেস মডেলের সঙ্গে ফলাফল পরীক্ষা করা।
  • অ্যাডাপ্টার অথবা মার্জ করা মডেল এক্সপোর্ট করা।
  • মডেল কার্ড তৈরি করে ফলাফল Hugging Face-এ আপলোড করা।

অর্থ খরচ করা, সফটওয়্যার ইনস্টল করা, কোনো বাহ্যিক প্রদানকারীর কাছে ডেটা পাঠানো অথবা মডেল প্রকাশ করার আগে Homebrew নিশ্চিতকরণ চায়। পাসওয়ার্ড, API key ও token চ্যাটের মাধ্যমে পাঠানো হয় না।

সমর্থিত প্রশিক্ষণ ওয়ার্কফ্লো

টেক্সট মডেল

Homebrew তালিকাভুক্ত মডেল পরিবারগুলোর মধ্যে Qwen3, Qwen3.5 ও সামঞ্জস্যপূর্ণ Qwen আর্কিটেকচার, Qwen3.5 MoE, Llama 3.1 থেকে 3.3, Gemma 3 এবং Gemma 4 সমর্থন করে। মডেল ও উপলব্ধ হার্ডওয়্যারের ওপর নির্ভর করে প্রশিক্ষণে LoRA, QLoRA অথবা সম্পূর্ণ ফাইন-টিউনিং ব্যবহার করা যায়।

প্রতিটি টেক্সট প্রশিক্ষণ কাজের তিনটির মধ্যে একটি লক্ষ্য থাকে:

  • SFT: কোনো instruct মডেলকে আচরণ, স্টাইল, উত্তর দেওয়ার ধরন অথবা টুল ব্যবহারের প্যাটার্ন শেখানোর জন্য supervised fine-tuning।
  • CPT: কাঁচা টেক্সটের ওপর continued pretraining, যা প্রায়ই কোনো বেস মডেলকে একটি ডোমেইন বা ভাষা শেখাতে ব্যবহৃত হয়।
  • DPO: পছন্দনীয় ও প্রত্যাখ্যাত উত্তর ব্যবহার করে preference tuning।

এই লক্ষ্যগুলো ধারাবাহিকভাবে ব্যবহার করা যায়। প্রচলিত পদ্ধতির মধ্যে রয়েছে সাধারণ SFT, CPT-এর পর SFT, এবং SFT-এর পর DPO। LoRA ধাপগুলো ধারাবাহিকভাবে যুক্ত হলে Homebrew পরবর্তী ধাপ শুরু করার আগে প্রতিটি ধাপকে তার প্রারম্ভিক ওজনে মার্জ করে।

ইমেজ মডেল

ইমেজ প্রশিক্ষণের জন্য Homebrew Qwen-Image 2.1-এর LoRA অ্যাডাপ্টার সমর্থন করে। এই অ্যাডাপ্টারগুলো স্টাইল, চরিত্র অথবা বস্তুকে লক্ষ্য করতে পারে। প্রশিক্ষণের সময় Homebrew ধাপ শূন্যে এবং পরবর্তী checkpoint-গুলোতে নির্দিষ্ট seed ব্যবহার করে প্রিভিউ ইমেজ রেন্ডার করতে পারে, ফলে ভিজ্যুয়াল তুলনা সহজ হয়।

Homebrew ইনস্টল করুন

কন্ট্রোল-প্লেন ইনস্টলেশন

প্রশিক্ষণ ভাড়া করা বা দূরবর্তী GPU সার্ভারে চললে, আপনার স্থানীয় কম্পিউটারে শুধু হালকা Homebrew ইনস্টলেশনই প্রয়োজন:

pip install "homebrew-ai @ git+https://github.com/empero-org/homebrew-ai"

নির্দেশিত ইন্টারফেস চালু করুন:

homebrew

স্থানীয় GPU ইনস্টলেশন

কম্পিউটারে NVIDIA GPU থাকলে এবং স্থানীয়ভাবে প্রশিক্ষণ চালালে, প্রশিক্ষণ এক্সট্রা ইনস্টল করুন:

pip install "homebrew-ai[train] @ git+https://github.com/empero-org/homebrew-ai"

ইনস্টলেশন, প্রদানকারী কনফিগারেশন, Hugging Face লগইন ও হার্ডওয়্যার যাচাই করতে পারেন:

homebrew doctor
homebrew hardware

দূরবর্তী প্রশিক্ষণ সার্ভার পরীক্ষা করতে এর SSH কমান্ড দিন:

homebrew hardware --ssh "ssh user@example-server"

নির্দেশনাদানকারী AI কনফিগার করুন

প্রথমবার চালানোর সময় Homebrew জিজ্ঞেস করে কোন AI ব্রুমাস্টার হিসেবে কাজ করবে। এরপর এটি প্রয়োজনীয় API key চায়, সীমিত অনুমতিসহ key-টি স্থানীয়ভাবে সংরক্ষণ করে, আপনার অভিজ্ঞতার স্তর জানতে চায় এবং একটি প্রকল্প তৈরি করে।

উপলব্ধ গাইডের ধরনগুলো হলো:

  • Claude: সবচেয়ে শক্তিশালী নির্দেশনার জন্য README এই বিকল্পটি সুপারিশ করে।
  • OpenAI: টুল কলিংসহ একটি chat model ব্যবহার করে।
  • OpenRouter: একটি API key-এর মাধ্যমে একাধিক মডেলে অ্যাক্সেস দেয়।
  • Ollama বা LM Studio: স্থানীয়ভাবে চলে; ভালো ফলাফলের জন্য প্রকল্পটি অন্তত 14B parameter ও tool calling-সহ একটি মডেল সুপারিশ করে।
  • Custom: vLLM বা llama.cpp-এর মতো OpenAI-সামঞ্জস্যপূর্ণ endpoint-এ সংযোগ করে।

পরে নির্দেশনাদানকারী মডেল পরিবর্তন করতে চালান:

homebrew setup

Homebrew গাইড অনুযায়ী তার আচরণ সামঞ্জস্য করে। শক্তিশালী মডেলগুলো সম্পূর্ণ toolset পায়, আর ছোট স্থানীয় মডেলগুলো ধাপভিত্তিক নির্দিষ্ট tool ও আরও কাঠামোবদ্ধ নির্দেশনা পায়। native tool calling-সমর্থনহীন মডেলগুলো Homebrew-এর text protocol স্বয়ংক্রিয়ভাবে ব্যবহার করতে পারে।

আপনার প্রথম ফাইন-টিউনিং প্রকল্প তৈরি করুন

homebrew দিয়ে বর্তমান directory-তে শুরু করতে পারেন, অথবা সরাসরি একটি নামযুক্ত প্রকল্প তৈরি করতে পারেন:

homebrew new my-pirate-chemist
cd my-pirate-chemist
homebrew

সাধারণ ভাষায় কাঙ্ক্ষিত ফলাফল বর্ণনা করুন। উদাহরণ:

a chatbot that explains chemistry like a friendly pirate

লক্ষ্যটি নির্দিষ্ট না হওয়া পর্যন্ত ব্রুমাস্টার প্রশ্ন করবে। এরপর এটি হার্ডওয়্যার মূল্যায়ন করবে, একটি বেস মডেল সুপারিশ করবে, লাইসেন্সের প্রয়োজনীয়তা নিয়ে আলোচনা করবে এবং স্থানীয় নাকি ভাড়া করা compute উপযুক্ত তা নির্ধারণ করবে।

ব্রিউইং ওয়ার্কফ্লো অনুসরণ করুন

1. লক্ষ্য নির্ধারণ করুন

মডেলটির কাঙ্ক্ষিত আচরণ, শ্রোতা, বিষয়ক্ষেত্র, আউটপুট স্টাইল অথবা ইমেজের ধারণা ব্যাখ্যা করুন। নির্দিষ্ট লক্ষ্য ব্রুমাস্টারকে উপযুক্ত ডেটা ও প্রশিক্ষণ লক্ষ্য বেছে নিতে সহায়তা করে।

2. Compute নির্বাচন করুন

Homebrew স্থানীয় হার্ডওয়্যার শনাক্ত করে। উপযুক্ত NVIDIA GPU না থাকলে এটি সামঞ্জস্যপূর্ণ GPU সুপারিশ করতে পারে এবং আনুমানিক Runpod ও Vast.ai মূল্য জানাতে পারে। এটি আপনার হয়ে কোনো অ্যাকাউন্ট তৈরি করে না বা অর্থ খরচ করে না।

আপনি একটি মেশিন ভাড়া নেওয়ার পর, নির্দেশিত সেশনে প্রদানকারীর SSH কমান্ড পেস্ট করুন। এরপর Homebrew হার্ডওয়্যার পরীক্ষা করতে, পরিবেশ প্রস্তুত করতে, ডেটা আপলোড করতে, প্রশিক্ষণ শুরু করতে এবং ফলাফল সংগ্রহ করতে পারবে।

বন্ধ করা ক্লাউড ইনস্ট্যান্সগুলোর স্টোরেজের জন্য বিল চলতে পারে। প্রকল্প সম্পূর্ণ হলে ভাড়া নেওয়া রিসোর্স ধ্বংস করুন।

৩. একটি বেস মডেল নির্বাচন করুন

ব্রিউমাস্টার লক্ষ্য, উপলভ্য মেমরি, নির্ধারিত প্রশিক্ষণ পদ্ধতি এবং লাইসেন্সিংয়ের প্রয়োজনীয়তার ভিত্তিতে একটি মডেল সুপারিশ করে। গেটেড মডেলে প্রবেশাধিকার পাওয়া যায় কি না, সেটিও এটি পরীক্ষা করে।

সমর্থিত মডেলগুলো নিজে পরিদর্শন করতে ব্যবহার করুন:

homebrew models
homebrew models --modality text --all
homebrew models --modality image --all

৪. ডেটা প্রস্তুত করুন

প্রশিক্ষণ ডেটা Hugging Face, স্থানীয় ফাইল, ব্রিউমাস্টার দিয়ে লেখা উদাহরণ অথবা ঐচ্ছিক সিন্থেটিক জেনারেশন থেকে আসতে পারে। Homebrew আগে ডাউনলোড না করেই Hugging Face ডেটাসেট খুঁজে দেখা ও প্রিভিউ করা সম্ভব করে।

সিন্থেটিক ডেটা জেনারেশন ঐচ্ছিক। এটি একটি সংক্ষিপ্ত বিবরণ থেকে কথোপকথন তৈরি করতে, বিদ্যমান ডেটাসেটকে অনুরোধ করা শৈলীতে পুনর্লিখতে অথবা DPO-এর জন্য পছন্দের জোড়া তৈরি করতে পারে। ব্যাচ সম্পন্ন হওয়ার সঙ্গে সঙ্গে কাজ সংরক্ষিত হয়, তাই জেনারেশন রান বাতিল করলে সম্পন্ন ব্যাচগুলো হারায় না।

clean_dataset অপারেশনটি খালি, ডুপ্লিকেট বা ক্ষতিগ্রস্ত রেকর্ড সরিয়ে একটি ব্যাকআপ তৈরি করে। প্রক্রিয়াকৃত রেকর্ডগুলো সতর্কতার সঙ্গে প্রিভিউ করে নিশ্চিত করুন যে সেগুলো প্রত্যাশিত আচরণ শেখাচ্ছে।

৫. প্রশিক্ষণের রেসিপি তৈরি করুন

Homebrew-এর propose_training_config অপারেশনটি সমর্থিত মডেলের নির্দেশিকা থেকে হাইপারপ্যারামিটার নির্বাচন করে এবং উপলভ্য GPU অনুযায়ী কাজটির আকার নির্ধারণ করে। প্রশিক্ষণ শুরু হওয়ার আগে Homebrew মেমরি ব্যবহার, সময়কাল এবং খরচের হিসাব দেয়।

৬. প্রশিক্ষণ চালান ও পর্যবেক্ষণ করুন

GPU-যুক্ত মেশিনে একটি বিচ্ছিন্ন প্রক্রিয়া হিসেবে প্রশিক্ষণ চলে। স্থানীয় টার্মিনাল বন্ধ করলেও কাজটি থামে না। কথোপকথন চালিয়ে যেতে প্রকল্প ফোল্ডারে ফিরে homebrew চালান।

উপযোগী পর্যবেক্ষণ কমান্ডগুলোর মধ্যে রয়েছে:

homebrew status
homebrew status JOB_ID

একটি ইন্টার‌্যাক্টিভ সেশনের মধ্যে ব্যবহার করুন:

/status
/jobs
/watch

Homebrew অগ্রগতি অনুসরণ করে, লস কার্ভ ও আনুমানিক সময় জানায় এবং কোনো ব্যর্থতা ঘটলে সহজ ভাষায় ব্যাখ্যা দেয়।

৭. মডেলটি পরীক্ষা করুন

প্রশিক্ষণের পর ফাইন-টিউন করা মডেলের বিরুদ্ধে প্রম্পট পরীক্ষা করুন এবং এর উত্তরগুলো বেস মডেলের উত্তরগুলোর সঙ্গে তুলনা করুন। এতে বোঝা যায় নতুন মডেলটি সাধারণ উত্তর দেওয়ার মান নষ্ট না করে অনুরোধ করা শৈলী বা আচরণ শিখেছে কি না।

৮. এক্সপোর্ট ও শেয়ার করুন

Homebrew ফলাফলকে একটি অ্যাডাপ্টার বা মার্জ করা মডেল হিসেবে প্যাকেজ করতে পারে। এটি প্রশিক্ষণ পদ্ধতি, ডেটা, লাইসেন্স, কৃতিত্ব এবং প্রাসঙ্গিক উদাহরণ নিয়ে একটি মডেল কার্ডও তৈরি করে। Hugging Face-এ আপলোড ডিফল্টভাবে ব্যক্তিগত থাকে।

লাইসেন্স যাচাইয়ে Llama-এর নাম ব্যবহারের প্রয়োজনীয়তা, Gemma-এর শর্তাবলি এবং নন-কমার্শিয়াল ডেটাসেট বা মডেলের নোটিশের মতো বিষয় অন্তর্ভুক্ত থাকে।

উন্নত টেক্সট প্রশিক্ষণ: CPT, SFT এবং DPO

SFT-এর আগে CPT ব্যবহার করুন

মডেলটির প্রথমে কাঁচা ডোমেইন বা ভাষার ডেটার সঙ্গে পরিচিত হওয়া দরকার হলে CPT বেছে নিন। কথোপকথনের আচরণ শেখাতে এরপর SFT অনুসরণ করুন। প্রতিটি পরবর্তী কাজ init_from-এর মাধ্যমে আগের ধাপকে নির্দেশ করে।

Base model -> CPT on raw text -> SFT on conversations

DPO দিয়ে পছন্দ পরিমার্জন করুন

SFT-এর পর, টোন, কাঠামো বা উত্তরের শৈলীর মতো গুণাবলির পছন্দ আরও নির্দিষ্ট করতে DPO ব্যবহার করা যায়। পছন্দের জোড়া Hugging Face, সিন্থেটিক জেনারেশন অথবা সদ্য প্রশিক্ষিত মডেল থেকেই আসতে পারে।

Homebrew generate_candidates দিয়ে প্রতিটি প্রম্পটের জন্য দুটি সম্ভাব্য উত্তর তৈরি করতে পারে। আপনি টার্মিনালে review_candidates দিয়ে ভালো উত্তরটি বেছে নিতে পারেন, অথবা একটি রুব্রিক অনুযায়ী প্রার্থীদের বিচার করতে নির্দেশনাদায়ী AI-কে বলতে পারেন এবং পরে তার সিদ্ধান্তগুলো নমুনাভিত্তিক যাচাই করতে পারেন।

Base model -> SFT -> generate candidate pairs -> review preferences -> DPO

DPO-এর রেফারেন্স লগ-সম্ভাব্যতা ধাপটির প্রারম্ভিক মডেল থেকে একবারই গণনা করা হয়, তাই দ্বিতীয় কোনো মডেলকে GPU মেমরিতে ধরে রাখার প্রয়োজন হয় না। এটি LoRA এবং পূর্ণ ফাইন-টিউনিং উভয়ের ক্ষেত্রেই প্রযোজ্য।

ছবির LoRA দৃশ্যত পর্যবেক্ষণ করুন

Qwen-Image 2.1 LoRA কাজগুলো ধাপ শূন্যে বেস মডেলের একটি প্রিভিউ এবং কনফিগার করা প্রতিটি চেকপয়েন্টে একটি নতুন প্রিভিউ সেট তৈরি করতে পারে। প্রম্পট ও র‍্যান্ডম সিড অপরিবর্তিত থাকে, ফলে চেকপয়েন্টগুলোর অর্থবহ তুলনা করা যায়।

ডাউনলোড করা প্রিভিউগুলো এখানে সংরক্ষিত হয়:

runs/<job>/samples/step_NNNNNN/

প্রিভিউ প্রম্পটে অ্যাডাপ্টারের ট্রিগার শব্দটি অন্তর্ভুক্ত করুন। কোনো আগের চেকপয়েন্ট চূড়ান্তটির চেয়ে ভালো দেখালে, সেই চেকপয়েন্টটি প্যাকেজ করতে ব্রিউমাস্টারকে বলুন।

পাশাপাশি তুলনার ব্রাউজার ইন্টারফেসের জন্য লিখুন:

/gallery

গ্যালারিটি একটি টোকেনযুক্ত 127.0.0.1 ঠিকানায় স্থানীয়ভাবে চালু হয় এবং কম্পিউটারের বাইরে থেকে এতে প্রবেশ করা যায় না। সারিগুলো চেকপয়েন্ট এবং কলামগুলো প্রিভিউ প্রম্পট নির্দেশ করে। প্রশিক্ষণের সময় গ্যালারি রিফ্রেশ হয়, বড় ছবি সমর্থন করে, তীরচিহ্নের সাহায্যে চেকপয়েন্ট পরিবর্তন করতে দেয় এবং C ব্যবহার করে কোনো ফলাফলকে বেস মডেলের সঙ্গে তুলনা করে।

ETF ডেটা বুঝুন

Homebrew একীভূত JSON Lines ফরম্যাট হিসেবে Empero Trace Format, বা ETF ব্যবহার করে। ETF চ্যাট, সিস্টেম প্রম্পট, টুল স্কিমা ও কল, রিজনিং, রিট্রিভাল ডকুমেন্ট, পছন্দের জোড়া, কাঁচা টেক্সট, কমপ্লিশন এবং ছবি উপস্থাপন করতে পারে।

ফাইল পরিদর্শন ও পরিচালনা করতে ETF কমান্ড গ্রুপ ব্যবহার করুন:

homebrew etf validate dataset.jsonl
homebrew etf stats dataset.jsonl
homebrew etf convert
homebrew etf schema

সম্পূর্ণ কাঠামোর জন্য প্রকল্পের ETF ডকুমেন্টেশন দেখুন।

উপযোগী কমান্ড ও সেশন নিয়ন্ত্রণ

  • homebrew: বর্তমান প্রকল্প শুরু বা পুনরায় চালু করে।
  • homebrew new NAME: একটি প্রকল্প তৈরি করে।
  • homebrew setup: নির্দেশনাকারী AI নির্বাচন বা পরিবর্তন করে।
  • homebrew doctor: ইনস্টলেশন, AI প্রদানকারী, Hugging Face লগইন এবং হার্ডওয়্যার পরীক্ষা করে।
  • homebrew hardware: স্থানীয় বা রিমোট হার্ডওয়্যার প্রতিবেদন দেখায়।
  • homebrew models: সমর্থিত বেস মডেলগুলোর তালিকা দেখায়।
  • homebrew status JOB: প্রশিক্ষণ জবগুলো পরিদর্শন করে।

একটি সেশনের মধ্যে /level ব্যাখ্যার স্তর পরিবর্তন করে, /usage ব্যবহারসংক্রান্ত তথ্য দেখায়, /thinking full ব্রুমাস্টারের দৃশ্যমান যুক্তি প্রদর্শন আরও বিস্তৃত করে, /thinking off এটি লুকিয়ে রাখে এবং /quit সেশন থেকে বেরিয়ে যায়।

উন্নত সেটআপের পরামর্শ

সীমিত টার্মিনালের জন্য Homebrew মানিয়ে নিন

Homebrew সরলীকৃত টার্মিনাল ইন্টারফেসের জন্য পরিবেশ ভেরিয়েবল সরবরাহ করে:

HOMEBREW_AI_PLAIN_INPUT=1 homebrew
HOMEBREW_AI_SIMPLE_PROMPTS=1 homebrew
HOMEBREW_AI_THINKING=off homebrew

HOMEBREW_AI_PLAIN_INPUT ফ্রেমযুক্ত ইনপুট বারকে সাধারণ প্রম্পটে প্রতিস্থাপন করে। HOMEBREW_AI_SIMPLE_PROMPTS তীর-কি মেনুর পরিবর্তে সংখ্যাযুক্ত বিকল্প ব্যবহার করে। HOMEBREW_AI_THINKING on, full অথবা off গ্রহণ করে।

সিনথেটিক ডেটা তৈরির সমান্তরালতা নিয়ন্ত্রণ করুন

সিনথেটিক ডেটা তৈরি এক থেকে ষোলো জন সমান্তরাল কর্মী সমর্থন করে। উদাহরণ:

HOMEBREW_AI_SYNTH_WORKERS=4 homebrew

আপনার প্রদানকারীর রেট লিমিট এবং অ্যাকাউন্টের সীমাবদ্ধতা বিবেচনা করে একটি মান নির্বাচন করুন।

প্রকল্পের ফাইলগুলো পরিদর্শন করুন

একটি সাধারণ প্রকল্পে থাকে:

my-project/
  homebrew.yaml
  data/
  data/_sets/<name>/
  runs/<job_id>/
  .homebrew/
  • homebrew.yaml-এ লক্ষ্য, মডেল, কম্পিউট, ডেটাসেট, জব এবং এক্সপোর্টসহ সিদ্ধান্ত ও অবস্থা সংরক্ষিত থাকে।
  • data/-এ উৎস, লাইসেন্স এবং ম্যাপিং বর্ণনাকারী ETF ডেটাসেট ও ম্যানিফেস্ট থাকে।
  • data/_sets/<name>/-এ তৈরি করা প্রশিক্ষণ ও মূল্যায়ন সেট থাকে।
  • runs/<job_id>/-এ জবের কনফিগারেশন, অনুলিপি করা ডেটা, অবস্থা, মেট্রিক, লগ এবং চূড়ান্ত আর্টিফ্যাক্ট সংরক্ষিত থাকে।
  • .homebrew/-এ সেশন পুনরায় চালু করতে ব্যবহৃত কথোপকথনের ইতিহাস থাকে।

ব্যবহারকারীর সেটিংস ~/.config/homebrew-ai/-এর অধীনে সংরক্ষিত থাকে। ক্রেডেনশিয়াল credentials.yaml-এ 600 মোডে রাখা হয়। অতিরিক্ত মডেল প্রোফাইল অন্তর্ভুক্ত প্রোফাইলগুলোর মতো একই স্কিমা ব্যবহার করে ~/.config/homebrew-ai/profiles/-এ রাখা যেতে পারে।

ব্যবহারিক সুপারিশ

  1. সংকীর্ণ লক্ষ্য দিয়ে শুরু করুন। সাধারণ উদ্দেশ্যের তুলনায় নির্দিষ্ট আচরণ বা ভিজ্যুয়াল ধারণা মূল্যায়ন করা সহজ।
  2. চূড়ান্ত প্রশিক্ষণ রেকর্ডের প্রিভিউ দেখুন। পরিষ্কার করা ও শৈলীগত পুনর্লিখনের ফলে মডেল যা দেখে তা বদলে যেতে পারে, তাই প্রশিক্ষণের আগে প্রতিনিধিত্বশীল উদাহরণ পরীক্ষা করুন।
  3. আচরণগত পরিবর্তনের জন্য SFT দিয়ে শুরু করুন। প্রকল্পে সত্যিই ডোমেইন প্রিট্রেনিং বা পছন্দ-অপ্টিমাইজেশন প্রয়োজন হলেই কেবল আরও জটিল চেইন ব্যবহার করুন।
  4. বেস মডেলের সঙ্গে তুলনা করুন। পাশাপাশি পরীক্ষা করলে প্রশিক্ষণ সত্যিই কার্যকর উন্নতি এনেছে কি না তা নির্ধারণ করা সহজ হয়।
  5. প্রকাশের আগে লাইসেন্স পর্যালোচনা করুন। ব্যবহৃত বেস মডেল ও ডেটাসেটের লাইসেন্স সাপেক্ষে আউটপুটের মালিকানা আপনার।
  6. উপযোগী চেকপয়েন্ট সংরক্ষণ করুন। বিশেষ করে ইমেজ LoRA প্রশিক্ষণে, দৃশ্যত সবচেয়ে শক্তিশালী চেকপয়েন্টটি চূড়ান্তটি নাও হতে পারে।
  7. ভাড়া করা অবকাঠামো বন্ধ করুন। ফলাফল ডাউনলোড ও যাচাই করার পর ক্লাউড রিসোর্স বন্ধ করে ধ্বংস করুন।

উপসংহার

Homebrew ডেটা, খরচ, ইনস্টলেশন এবং প্রকাশনার ওপর নিয়ন্ত্রণ বজায় রেখে মডেল ফাইন-টিউনিংকে একটি নির্দেশিত, কথোপকথনভিত্তিক কর্মপ্রবাহে রূপ দেয়। এটি সরল SFT প্রকল্পের পাশাপাশি ধারাবাহিক CPT, SFT এবং DPO পদ্ধতি, এবং চেকপয়েন্টভিত্তিক Qwen-Image LoRA প্রশিক্ষণ সমর্থন করে। কমান্ড-লাইন টুল ইনস্টল করে শুরু করুন, সক্ষম একজন গাইড বেছে নিন, একটি নির্দিষ্ট লক্ষ্য বর্ণনা করুন এবং ব্রুমাস্টারকে প্রতিটি নিশ্চিত ধাপে আপনাকে এগিয়ে নিতে দিন।

সোর্স কোড ও বর্তমান ডকুমেন্টেশনের জন্য Homebrew GitHub রিপোজিটরি দেখুন। Homebrew নিজস্ব লাইসেন্স ব্যবহার করে: রিপোজিটরিতে উল্লিখিত রাজস্বসীমা পর্যন্ত ব্যক্তি ও প্রতিষ্ঠানের জন্য MIT-ধাঁচের শর্ত প্রযোজ্য, আর বৃহত্তর প্রতিষ্ঠানের জন্য বাণিজ্যিক লাইসেন্স প্রয়োজন।