Anima Reference Adapter দিয়ে একটি রেফারেন্স ছবি থেকে সামঞ্জস্যপূর্ণ চরিত্র তৈরি করুন

Anima Reference Adapter কী?

Anima Reference Adapter হলো একটি রেফারেন্স ছবি এবং শুধু দৃশ্যের প্রম্পট থেকে Anima ছবি তৈরি করার জন্য কাস্টম ComfyUI নোডের একটি সেট। এটি ছবিতে কে দেখানো হয়েছে তা—চুল, চোখ, পোশাক, আনুষঙ্গিক উপকরণ এবং কিছু আঁকার ধরনসহ—সংরক্ষণ করার চেষ্টা করে, একই সঙ্গে প্রম্পটের মাধ্যমে ভঙ্গি, পটভূমি, কার্যকলাপ, ফ্রেমিং এবং কম্পোজিশন নিয়ন্ত্রণের সুযোগ দেয়।

আপনাকে কোনো চরিত্রের নাম, শিল্পীর ট্যাগ বা বিস্তারিত চেহারার ট্যাগ যোগ করতে হবে না। তাই এই অ্যাডাপ্টারটি মৌলিক চরিত্রের পাশাপাশি পরিচিত চরিত্রের ক্ষেত্রেও কার্যকর। বর্তমান সংস্করণটি ২,০০০ ধাপে ৩০০টি চরিত্রের ওপর প্রশিক্ষিত একটি পাইলট রিলিজ।

এই উদাহরণটি প্রত্যাশিত কার্যপ্রবাহ দেখায়: ভিজ্যুয়াল পরিচয় আসে রেফারেন্স থেকে, আর full body, walking, hands in pockets, city, street, night, rain-এর মতো প্রম্পট নতুন দৃশ্য নির্ধারণ করে।

প্রধান বৈশিষ্ট্য

• একক-ছবি কন্ডিশনিং: চরিত্রের পরিচয় এবং কিছু স্টাইলগত বৈশিষ্ট্য স্থানান্তরের জন্য একটি ছবি দিন।
• শুধু দৃশ্যের প্রম্পট: চরিত্রের চেহারা পুনরায় লেখার পরিবর্তে কাঙ্ক্ষিত কার্যকলাপ, ভঙ্গি, অবস্থান, ফ্রেমিং এবং আলো বর্ণনা করুন।
• স্বাধীন গাইডেন্স: টেক্সট CFG এবং রেফারেন্স গাইডেন্স আলাদাভাবে সমন্বয় করুন।
• APG ও রিস্কেল সংশোধন: বেশি রেফারেন্স-গাইডেন্স মানে অতিরিক্ত স্যাচুরেশন নিয়ন্ত্রণ করুন।
• ComfyUI সংযুক্তি: প্রকল্পটিতে একটি লোডার, রেফারেন্স-ল্যাটেন্ট নোড এবং কাস্টম গাইডার রয়েছে।
• মৌলিক চরিত্র সমর্থন: এই পদ্ধতি কোনো পরিচিত চরিত্রের নামের ওপর নির্ভর করে না।

অ্যাডাপ্টারটি যেভাবে কাজ করে

রেফারেন্স ছবিকে সাদা লেটারবক্সিংসহ অনুরোধ করা আউটপুটের মাত্রায় মানিয়ে নেওয়া হয় এবং Qwen-Image VAE দিয়ে এনকোড করা হয়। এটি টাইমস্টেপ শূন্যে নয়েজযুক্ত টার্গেট ল্যাটেন্টের পাশে একটি দ্বিতীয়, পরিষ্কার ল্যাটেন্ট ফ্রেমে পরিণত হয়।

রেফারেন্স ফ্রেমের RoPE স্থানাঙ্ক টার্গেট ছবির গ্রিডের বাইরে সরিয়ে দেওয়া হয়। এতে পিক্সেল-সারিবদ্ধ কপি নিরুৎসাহিত হয়, ফলে অনুরোধ করা ভঙ্গি ও কম্পোজিশন রেফারেন্সের থেকে আলাদা হতে পারে। ৪৫.৯ মিলিয়ন প্যারামিটারযুক্ত rank-32 LoRA Anima-কে এই অতিরিক্ত ফ্রেম পড়তে শেখায়। রেফারেন্স উপস্থিত থাকলেই কেবল অ্যাডাপ্টার LoRA সক্রিয় থাকে।

আলাদা টেক্সট ও রেফারেন্স গাইডেন্সের মাধ্যমে প্রম্পট অনুসরণ এবং পরিচয় ও স্টাইল স্থানান্তরের মধ্যে ভারসাম্য নির্ধারণ করা যায়। রেফারেন্স গাইডেন্স বেশি হলে রং নিয়ন্ত্রিত রাখতে Adaptive Projected Guidance বা APG ব্যবহার করা যায়।

প্রয়োজনীয়তা

কাস্টম নোড ইনস্টল করার আগে একটি সচল ComfyUI ইনস্টলেশন এবং Anima-এর প্রয়োজনীয় মডেল উপাদান প্রস্তুত করুন:

• Anima base v1.0
• Qwen3-0.6B text encoder
• Qwen-Image VAE
• Anima Reference Adapter pilot weights

Anima-এর উপাদান CircleStone Labs Anima repository থেকে পাওয়া যায়। অ্যাডাপ্টারের ওজন Hugging Face-এর Anima Reference Adapter repository থেকে পাওয়া যায়।

ইনস্টলেশন

১. কাস্টম নোড ইনস্টল করুন

একটি টার্মিনাল খুলে ComfyUI-এর custom_nodes ডিরেক্টরিতে যান এবং রিপোজিটরি ক্লোন করুন:

cd ComfyUI/custom_nodes
git clone https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter.git

২. অ্যাডাপ্টারের ওজন ডাউনলোড করুন

anima_ref_adapter_pilot_r32.safetensors ডাউনলোড করে নিচের ডিরেক্টরিতে রাখুন:

ComfyUI/models/loras/anima_ref_adapter_pilot_r32.safetensors

৩. Patch Sage Attention ইনস্টল করুন অথবা বাইপাস করুন

অন্তর্ভুক্ত দুটি উদাহরণ ওয়ার্কফ্লোতেই ComfyUI-KJNodes-এর Patch Sage Attention নোড ব্যবহার করা হয়েছে। SageAttention ব্যবহার করলে KJNodes ইনস্টল করুন। অন্যথায়, ওয়ার্কফ্লোতে নোডটি নির্বাচন করে Ctrl+B দিয়ে বাইপাস করুন।

৪. ComfyUI পুনরায় চালু করুন

নোড ও ওজন ইনস্টল করার পর ComfyUI সার্ভার পুনরায় চালু করুন। নতুন নোড নিবন্ধিত হওয়ার জন্য Ctrl+F5 দিয়ে ব্রাউজার ইন্টারফেস রিলোড করুন।

আপনার প্রথম ছবি তৈরি করুন

১. বেসিক ওয়ার্কফ্লো খুলুন

ক্লোন করা রিপোজিটরি থেকে workflows/anima_ref_adapter.json ComfyUI-তে লোড করুন। দ্বিতীয় ওয়ার্কফ্লো workflows/anima_ref_adapter_pag.json-এ Anima Safe PAG অন্তর্ভুক্ত আছে এবং বেসিক সেটআপ কাজ করার পর এটি কার্যকর।

২. একটি রেফারেন্স ছবি লোড করুন

যে চরিত্রের পরিচয় ও স্টাইল স্থানান্তর করতে চান, তার একটি পরিষ্কার ছবি বেছে নিন। Anima Ref Latent নোডটি ছবিকে নির্বাচিত আউটপুটের মাত্রায় মানিয়ে নেয়, প্রয়োজনে সাদা লেটারবক্সিং যোগ করে এবং VAE দিয়ে এনকোড করে। এটি খালি টার্গেট ল্যাটেন্ট এবং সামঞ্জস্যপূর্ণ মাল্টি-রেজোলিউশন ওয়ার্কফ্লোর জন্য অর্ধ-আকারের রেফারেন্স এনকোডও তৈরি করে।

৩. শুধু দৃশ্যের একটি প্রম্পট লিখুন

গুণমান নির্দেশক শব্দ, চরিত্রের লিঙ্গ, solo এবং দৃশ্যের ট্যাগ ব্যবহার করুন। চরিত্রের নাম, শিল্পীর নাম বা চেহারার বর্ণনা যোগ করবেন না। একটি সাধারণ প্রম্পট কাঠামো হলো:

masterpiece, best quality, score_7, newest, highres, absurdres, safe, <gender>, solo, <scene>

উদাহরণস্বরূপ, রেফারেন্স করা চরিত্রকে সূর্যাস্তের সময় সমুদ্রসৈকতে দেখাতে ব্যবহার করুন:

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, cowboy shot, looking back, smile, beach, ocean, sunset

শুধু দৃশ্যভিত্তিক অন্যান্য প্রম্পটের ধারণাগুলোর মধ্যে রয়েছে:

• upper body, sitting, holding cup, drinking, cafe, indoors, window, sunlight
• portrait, from side, looking afar, cherry blossoms, petals
• full body, standing, snow, forest, winter
• upper body, reading, holding book, library, bookshelf

৪. প্রস্তাবিত সেটিংস প্রয়োগ করুন

বেস মডেলের জন্য এই মানগুলো দিয়ে শুরু করুন:

• Compute dtype: ModelComputeDtype-এর মাধ্যমে bf16
• Sampler: Euler
• Steps: 28 থেকে 30
• Scheduler: simple
• Text CFG: 4.5
• Reference guidance: 4.5 থেকে 6
• Correction: apg, অথবা phi 0.5 সহ rescale
• Reference offset: ref_offset_h-কে প্রশিক্ষণে ব্যবহৃত মান 1.0-এ রাখুন

fp16-এর পরিবর্তে bf16 ব্যবহার করুন। প্রকল্পের ডকুমেন্টেশন অনুযায়ী, Anima fp16-এ ওভারফ্লো করে।

৫. ওয়ার্কফ্লো কিউ করুন

মডেল, VAE, টেক্সট এনকোডার, রেফারেন্স ছবি, অ্যাডাপ্টার ওজন এবং প্রম্পট সঠিকভাবে সংযুক্ত আছে কি না যাচাই করুন। লক্ষ্য ছবি তৈরি করতে প্রম্পটটি কিউ করুন।

কাস্টম নোডগুলো বোঝা

Anima Ref Adapter Loader

এই নোডটি Anima MODEL-এর সঙ্গে অ্যাডাপ্টার LoRA সংযুক্ত করে। ref_offset_h-কে 1.0-এ রাখুন, কারণ প্রশিক্ষণের সময় এই মানটিই ব্যবহার করা হয়েছিল।

Anima Ref Latent

এই নোডটি রেফারেন্স ও টার্গেট ল্যাটেন্ট প্রস্তুত করে। এটি রেফারেন্সের আকার মানিয়ে লেটারবক্স করে, VAE দিয়ে এনকোড করে, অর্ধ-আকারের একটি এনকোড তৈরি করে এবং নির্বাচিত আউটপুট আকারে একটি খালি ল্যাটেন্ট ফেরত দেয়।

Anima Ref Guider

এই নোডটি SamplerCustomAdvanced দ্বারা ব্যবহৃত GUIDER তৈরি করে। এটি টেক্সট cfg ও ref_guidance-এর জন্য পৃথক নিয়ন্ত্রণের পাশাপাশি APG বা rescale সংশোধন দেয়। এটি PAG-এর মতো post-CFG প্যাচও চালায়।

উন্নত টিউনিংয়ের পরামর্শ

পরিচয় ও প্রম্পট অনুসরণে ভারসাম্য রাখুন

রেফারেন্স গাইডেন্স ফলাফলটি রেফারেন্সকে কতটা শক্তভাবে অনুসরণ করবে তা নিয়ন্ত্রণ করে। 1 মান দুর্বল ও কম ব্যয়বহুল কন্ডিশনিং দেয়। 4.5 থেকে 6 মান সাধারণত চরিত্রের আরও বেশি বিবরণ ও স্টাইল ধরে রাখে, তবে মান বাড়ালে স্যাচুরেশনও তীব্র হতে পারে। বেশি গাইডেন্স ব্যবহার করলে APG হলো প্রস্তাবিত সংশোধন।

ঐচ্ছিক LoRA সঠিক ক্রমে ব্যবহার করুন

সাধারণ LoRA-গুলো Anima Ref Adapter Loader-এর আগে সংযুক্ত করা উচিত। গ্যালারির উদাহরণগুলোতে প্রায় 0.3 মানের একটি Anima context-detailer LoRA এবং প্রায় 0.6 মানের একটি base-slider LoRA ব্যবহার করা হয়েছে। এগুলো ঐচ্ছিক, ইনস্টলেশনের জন্য আবশ্যক নয়।

Anima Safe PAG যোগ করুন

আরও উন্নত গ্রাফের জন্য workflows/anima_ref_adapter_pag.json খুলুন। গ্যালারির কনফিগারেশনে 18 ব্লকে Anima Safe PAG ব্যবহার করা হয়েছে, যার scale 1.3 এবং interval 0.2 থেকে 0.9।

Anima turbo LoRA সতর্কতার সঙ্গে ব্যবহার করুন

Anima turbo LoRA-ও অ্যাডাপ্টারের সঙ্গে কাজ করে। এটি অ্যাডাপ্টার লোডারের আগে লোড করুন, তারপর বেস মডেলের প্রস্তাবিত সেটিংসের পরিবর্তে turbo LoRA-র স্বাভাবিক step ও CFG সেটিংস ব্যবহার করুন। রেফারেন্স অ্যাডাপ্টারটি নিজে Anima base v1.0-এ প্রশিক্ষিত।

একক-রেজোলিউশনের স্যাম্পলিং পছন্দ করুন

28 থেকে 30 ধাপের Euler এবং simple scheduler দিয়ে শুরু করাই প্রস্তাবিত। README-তে বলা হয়েছে, SamplerSPEED-এর অর্ধ-রেজোলিউশন ধাপটি নির্ভরযোগ্য নয়, কারণ pilot adapter-কে ওই progressive sampling সেটআপের জন্য প্রশিক্ষণ দেওয়া হয়নি।

রেফারেন্স ইনপুট উন্নত করুন

এমন একটি রেফারেন্স ব্যবহার করুন যেখানে গুরুত্বপূর্ণ পরিচয়সূচক বৈশিষ্ট্যগুলো দৃশ্যমান, তবে মনে রাখুন, তৈরি হওয়া ভঙ্গি ও কম্পোজিশন রেফারেন্সের বদলে প্রম্পট অনুসরণ করবে। কোনো আনুষঙ্গিক জিনিস বা সূক্ষ্ম নকশা হারিয়ে গেলে reference guidance বাড়ালে উপকার হতে পারে, যদিও ছোট বিবরণের ক্ষেত্রে pilot model-এর পরিচিত সীমাবদ্ধতা রয়েছে।

বর্তমান সীমাবদ্ধতা

• আঁকার স্টাইলের তুলনায় চরিত্রের পরিচয় বেশি নির্ভরযোগ্যভাবে স্থানান্তরিত হয়।
• অত্যন্ত পেইন্টারলি স্টাইল দুর্বলভাবে স্থানান্তরিত হতে পারে।
• ছোট নকশা, দাগ, কানের দুল এবং অস্বাভাবিক ত্বকের রং প্রায়ই হারিয়ে যায়।
• বড় পোশাকের রং বদলে যেতে পারে।
• রেফারেন্স করা চরিত্রটি কখনও কখনও দৃশ্যের কোনো বস্তুর মধ্যে আবার দেখা দিতে পারে।
• অ্যাডাপ্টারটি কেবল Anima-তে তৈরি ছবির ওপর প্রশিক্ষিত এবং বেস মডেলের পক্ষপাত উত্তরাধিকারসূত্রে বহন করে।
• এই pilot release-এ চরিত্র ও স্টাইলের পৃথক রেফারেন্স পাওয়া যায় না।

রোডম্যাপে রয়েছে পৃথক চরিত্র ও স্টাইলের ছবি, তিনটি শিল্পীর স্টাইলে 2,000টি নতুন চরিত্রের বৃহত্তর ডেটাসেট, উন্নত পেইন্টারলি-স্টাইল ও সূক্ষ্ম-বিবরণ স্থানান্তর এবং progressive sampler-এর জন্য অর্ধ-রেজোলিউশনের প্রশিক্ষণ জোড়া।

লাইসেন্স

ComfyUI নোডের কোড Apache 2.0 লাইসেন্সের অধীনে বিতরণ করা হয়। অ্যাডাপ্টারের ওজন CircleStone Model-এর একটি derivative এবং CircleStone Non-Commercial License ব্যবহার করে। তৈরি করা কাজ ব্যবহার বা কোনো প্রকল্পে অ্যাডাপ্টার সংযুক্ত করার আগে ওজনের লাইসেন্স পর্যালোচনা করুন। রিপোজিটরিতে বলা হয়েছে, প্রকল্পটি CircleStone Labs-এর সঙ্গে সম্পৃক্ত নয় এবং তাদের অনুমোদিতও নয়।

উপসংহার

Anima Reference Adapter পরিচয়, শিল্পী বা চেহারার ট্যাগ না লিখেই একটি চরিত্রকে নতুন দৃশ্যে স্থানান্তরের কার্যকর উপায় দেয়। প্রাথমিক ওয়ার্কফ্লো দিয়ে শুরু করুন, bf16, Euler sampling, CFG 4.5 এবং 4.5 থেকে 6-এর মধ্যে reference guidance ব্যবহার করুন। মূল ওয়ার্কফ্লো কাজ করলে APG, Anima Safe PAG বা ঐচ্ছিক LoRA যোগ করুন, তবে সাধারণ LoRA-গুলো adapter loader-এর আগে রাখুন।