মূল কনটেন্টে যান
এআই টিউটোরিয়াল

ComfyUI-তে Qwen Image 2.1-এর রেফারেন্স ও প্রম্পট ফ্রেজ নিয়ন্ত্রণ

Qwen Image 2.1 ওয়ার্কফ্লোতে রেফারেন্স-ইমেজের শক্তি সমন্বয় এবং পজিটিভ ও নেগেটিভ প্রম্পটে ওজনযুক্ত ফ্রেজ প্রয়োগ করতে ComfyUI-qwen_img_2_1_enhancer ইনস্টল ও ব্যবহার শিখুন।

পড়তে প্রায় 15 মিনিট লাগবে
ComfyUI-তে Qwen Image 2.1-এর রেফারেন্স ও প্রম্পট ফ্রেজ নিয়ন্ত্রণ

ComfyUI-qwen_img_2_1_enhancer কী করে

ComfyUI-qwen_img_2_1_enhancer ComfyUI-তে নেটিভ Qwen Image 2.1 ওয়ার্কফ্লোর জন্য দুটি নোড যোগ করে। এই নোডগুলো পৃথক রেফারেন্স ছবির attention priority নিয়ন্ত্রণ করতে এবং নির্বাচিত prompt বাক্যাংশকে জোরালো বা কম গুরুত্ব দিতে দেয়।

নোডগুলো আলাদাভাবে ব্যবহার করতে পারেন বা একই ওয়ার্কফ্লোতে একসঙ্গে যুক্ত করতে পারেন। এগুলো টেক্সট embedding পুনরায় স্কেল করা, রেফারেন্স পিক্সেল কম্পোজিট করা বা উৎস ছবি পরিবর্তন করার পরিবর্তে নেটিভ Qwen Image 2.1 transformer-এর ভেতরের attention score সমন্বয় করে।

  • Qwen Image 2.1 Reference Strength: নির্বাচিত রেফারেন্স ছবির attention priority পরিবর্তন করে।
  • Qwen Image 2.1 Edit — Phrase Weights: positive ও negative prompt-এ weighted phrase syntax যোগ করে এবং conditioning ও latent output তৈরি করে।

প্রয়োজনীয়তা ও ইনস্টলেশন

আপনার ComfyUI-তে নেটিভ Qwen Image 2.1 support থাকতে হবে। পাশাপাশি কার্যকর Qwen Image 2.1 model, text encoder এবং VAE setup প্রয়োজন। এই custom node-এর জন্য অতিরিক্ত Python package বা ComfyUI core file সম্পাদনা দরকার নেই।

  1. একটি terminal খুলে ComfyUI-এর custom-node directory-তে যান:
cd ComfyUI/custom_nodes
  1. repository clone করুন:
git clone https://github.com/capitan01R/ComfyUI-qwen_img_2_1_enhancer.git

নোড ইনস্টল বা আপডেট করার পর ComfyUI পুনরায় চালু করুন। পুনরায় চালু হলে node menu-তে দুটি Qwen Image 2.1 enhancer node খুঁজুন।

রেফারেন্স ছবির শক্তি সমন্বয়

Qwen Image 2.1 Reference Strength node একটি সংযুক্ত রেফারেন্স ছবির প্রতি attention নিয়ন্ত্রণ করে। এটি আপনার model এবং ঐচ্ছিক LoRA loader-এর পরে যোগ করুন, তারপর এর MODEL output sampler-এর সঙ্গে সংযুক্ত করুন।

Load Diffusion Model -> LoRA loaders (optional) -> Reference Strength -> sampler

রেফারেন্স ছবি এবং VAE নেটিভ Text Encode Qwen Image 2.1 node অথবা অন্তর্ভুক্ত Phrase Weights encoder-এর সঙ্গে সংযুক্ত করুন। রেফারেন্স নির্বাচন encoder-এ সংযুক্ত ছবির ক্রম অনুসরণ করে। খালি image input বাদ দেওয়া হয়।

Reference Strength-এর input

  • model: Qwen Image 2.1 model, যার মধ্যে প্রয়োগ করা LoRA-ও অন্তর্ভুক্ত।
  • reference_index: যে রেফারেন্সটি সমন্বয় করতে হবে। 1 প্রথম সংযুক্ত ছবি, 2 দ্বিতীয় ছবি এবং এভাবে পরের ছবিগুলো নির্বাচন করে।
  • strength: attention-odds multiplier। এর default value হলো 1.2।

Strength value বোঝা

  • 1.0 নেটিভ রেফারেন্স weighting অপরিবর্তিত রাখে।
  • 1.0-এর বেশি value নির্বাচিত রেফারেন্সের priority বাড়ায়।
  • 0.0 থেকে 1.0-এর মধ্যে value এর priority কমায়।
  • 0.0 নির্বাচিত রেফারেন্সের latent token-এ সরাসরি attention বন্ধ করে, তবে conditioning-এর অন্যত্র ছবিটির তথ্য থেকে যেতে পারে।

এই সমন্বয় পুরো রেফারেন্স ছবিতে প্রযোজ্য হয়। একাধিক রেফারেন্স নিয়ন্ত্রণ করতে একাধিক Reference Strength node chain করুন। একই index পুনরায় ব্যবহার করলে পরের setting আগের strength প্রতিস্থাপন করে। কোনো index-এর value 1.0 সেট করলে তার adjustment সরিয়ে দেওয়া হয়।

Weighted Prompt Phrase প্রয়োগ

নেটিভ Text Encode Qwen Image 2.1 node-এর পরিবর্তে Qwen Image 2.1 Edit — Phrase Weights ব্যবহার করুন। নেটিভ Qwen Image 2.1 CLIP, আপনার রেফারেন্স ছবি এবং VAE সংযুক্ত করুন। এরপর node-এর positive, negative এবং latent output sampler-এ পাঠান।

এই encoder-এর জন্য MODEL connection দরকার নেই। Model স্বাভাবিক পথ অনুসরণ করে sampler-এ যায়।

Phrase-Weight Syntax

কোনো শব্দ বা বাক্যাংশকে parentheses-এর মধ্যে রাখুন, একটি colon যোগ করুন এবং nonnegative weight নির্দিষ্ট করুন:

Add (warm lighting:1.3) and (soft shadows:1.1).
  • 1.0 নেটিভ phrase weighting ব্যবহার করে।
  • 1.0-এর বেশি value বাক্যাংশটির priority বাড়ায়।
  • 0.0 থেকে 1.0-এর মধ্যে value বাক্যাংশটির priority কমায়।
  • 0.0 নির্বাচিত phrase token-এর প্রতি attention জোরালোভাবে কমিয়ে দেয়।

Positive এবং negative prompt-এর weight স্বাধীন। শুধু চিহ্নিত occurrence-এ adjustment প্রযোজ্য হয়, তাই আলাদা, non-nested section-এ সম্পূর্ণ শব্দ বা বাক্যাংশ ব্যবহার করুন।

Phrase Weights-এর connection ও output

  • clip: qwen_image CLIP type দিয়ে লোড করা নেটিভ Qwen Image 2.1 text encoder।
  • prompt: positive prompt, যার মধ্যে ঐচ্ছিক weighted phrase থাকতে পারে।
  • negative_prompt: negative prompt, যার নিজস্ব ঐচ্ছিক weighted phrase থাকতে পারে।
  • vae: নেটিভ Qwen Image 2.1 VAE। এই node-কে Reference Strength-এর সঙ্গে ব্যবহার করলে এটি প্রয়োজন।
  • resolution: রেফারেন্স resize করার target। Default হলো 1024; 0 সেট করলে reference-কে 32-এর গুণিতকে round করে মূল dimensions-এর কাছাকাছি রাখা হয়।
  • images: রেফারেন্স ছবি। প্রয়োজন অনুযায়ী অতিরিক্ত image socket দেখা যায়।
  • positive এবং negative: sampler-এর জন্য conditioning output।
  • latent: resize করার পর প্রথম রেফারেন্সের মাপ অনুযায়ী তৈরি একটি empty latent।
  • phrase_report: clean prompt, weight এবং নির্বাচিত token row দেখানো ঐচ্ছিক JSON text।

দুটি নোড একসঙ্গে ব্যবহার

ছবির রেফারেন্স এবং prompt phrase দুটোই নিয়ন্ত্রণ করতে চাইলে model-কে Reference Strength-এর মধ্য দিয়ে পাঠান এবং Phrase Weights-এর conditioning ও latent output sampler-এ পাঠান।

MODEL -> রেফারেন্স শক্তি -------------------------> sampler MODEL

CLIP + VAE + images -> বাক্যাংশের ওজন
                           |------------------------> sampler positive
                           |------------------------> sampler negative
                           `------------------------> sampler latent_image

ফলাফল তুলনা করার সময়, অন্য সেটিংস অপরিবর্তিত রেখে একবারে একটি নিয়ন্ত্রণ পরিবর্তন করুন। এতে বোঝা সহজ হয় যে দৃশ্যমান পার্থক্যটি রেফারেন্সের অগ্রাধিকার নাকি বাক্যাংশের অগ্রাধিকার থেকে এসেছে।

উন্নত টিপস ও সীমাবদ্ধতা

উভয় নোডই গাণিতিক অ্যাটেনশন সমন্বয় প্রয়োগ করে। কোনো ধনাত্মক ওজন w-এর ক্ষেত্রে, নির্বাচিত অ্যাটেনশন স্কোরগুলোতে softmax-এর আগে log(w) যোগ করা হয়। এতে নর্মালাইজেশন বজায় রেখেই আপেক্ষিক অ্যাটেনশন অগ্রাধিকার পরিবর্তিত হয়।

  • 2.0 শক্তি বা বাক্যাংশের ওজন দৃশ্যমান প্রভাব দ্বিগুণ হবে, এমন নিশ্চয়তা দেয় না।
  • খুব বড় মান অন্যান্য নির্দেশনা বা রেফারেন্সকে প্রাধান্য দিতে পারে এবং সম্পাদনার নমনীয়তা কমিয়ে দিতে পারে।
  • Reference Strength রেফারেন্স-ছবির কী নির্বাচন করে, আর Phrase Weights চিহ্নিত বাক্যাংশগুলোর অন্তর্ভুক্ত টেক্সট কী নির্বাচন করে।
  • নেটিভ প্রিফিক্স ক্যাশিং বজায় থাকে।
  • অ্যাটেনশন ব্যাকএন্ডগুলোকে additive mask সমর্থন করতে হবে।
  • বাক্যাংশ ম্যাপিংয়ের জন্য টোকেনাইজারের সম্পূর্ণ অংশ প্রয়োজন এবং textual-inversion embedding সমর্থিত নয়।
  • বাক্যাংশ এনকোড করার পর conditioning token row পরিবর্তন করলে বাক্যাংশ ম্যাপিং অকার্যকর হতে পারে।

ব্যবহারিক টিউনিংয়ের জন্য, নেটিভ মান 1.0 থেকে শুরু করুন, ছোট পরিবর্তন করুন, এবং কোন প্রম্পট টোকেন নির্বাচন করা হয়েছে তা যাচাই করতে হলে ঐচ্ছিক phrase_report পর্যালোচনা করুন।

উপসংহার

ComfyUI-qwen_img_2_1_enhancer ComfyUI-এর মূল ফাইল পরিবর্তন না করেই Qwen Image 2.1 সম্পাদনা কর্মপ্রবাহের জন্য কেন্দ্রীভূত নিয়ন্ত্রণ প্রদান করে। কাস্টম নোডটি ইনস্টল করুন, পৃথক ছবিকে অগ্রাধিকার দিতে Reference Strength ব্যবহার করুন, প্রম্পটের বাক্যাংশ জোরালো বা দমন করতে Phrase Weights ব্যবহার করুন, এবং ভিজ্যুয়াল রেফারেন্স ও টেক্সট নির্দেশনার ওপর সমন্বিত নিয়ন্ত্রণ প্রয়োজন হলে উভয় নোড একসঙ্গে ব্যবহার করুন।

প্রকল্পটি MIT License-এর অধীনে প্রকাশিত হয়েছে।