ایک حوالہ جاتی تصویر سے Anima Reference Adapter کے ذریعے یکساں کردار بنائیں

انِیما ریفرنس اڈاپٹر کیا ہے؟

انِیما ریفرنس اڈاپٹر حسبِ ضرورت ComfyUI نوڈز کا ایک مجموعہ ہے، جو ایک ریفرنس تصویر اور صرف منظر پر مبنی پرامپٹ سے انِیما تصویر تیار کرتا ہے۔ یہ تصویر میں دکھائے گئے شخص یا کردار کی شناخت برقرار رکھنے کی کوشش کرتا ہے، جس میں بال، آنکھیں، لباس، لوازمات اور ڈرائنگ کا کچھ انداز شامل ہیں، جبکہ پرامپٹ کو پوز، پس منظر، عمل، فریمنگ اور کمپوزیشن کنٹرول کرنے کی اجازت دیتا ہے۔

آپ کو کردار کا نام، آرٹسٹ ٹیگ یا ظاہری شکل کے تفصیلی ٹیگز شامل کرنے کی ضرورت نہیں۔ اس سے یہ اڈاپٹر اصل کرداروں کے ساتھ ساتھ معروف کرداروں کے لیے بھی مفید بن جاتا ہے۔ موجودہ ورژن ایک پائلٹ ریلیز ہے جسے 300 کرداروں پر 2,000 اسٹیپس کے لیے تربیت دی گئی ہے۔

یہ مثال مطلوبہ ورک فلو واضح کرتی ہے: بصری شناخت ریفرنس سے آتی ہے، جبکہ full body, walking, hands in pockets, city, street, night, rain جیسا پرامپٹ نیا منظر متعین کرتا ہے۔

اہم خصوصیات

• ایک تصویر سے کنڈیشننگ: کردار کی شناخت اور کچھ اسلوبی خصوصیات منتقل کرنے کے لیے ایک تصویر فراہم کریں۔
• صرف منظر پر مبنی پرامپٹنگ: کردار کی ظاہری شکل دہرانے کے بجائے مطلوبہ عمل، پوز، مقام، فریمنگ اور روشنی بیان کریں۔
• آزاد گائیڈنس: ٹیکسٹ CFG اور ریفرنس گائیڈنس کو الگ الگ ایڈجسٹ کریں۔
• APG اور ریسکیل اصلاح: زیادہ ریفرنس گائیڈنس ویلیوز پر حد سے زیادہ سیچوریشن کو کنٹرول کریں۔
• ComfyUI انضمام: یہ پروجیکٹ لوڈر، ریفرنس لیٹنٹ نوڈ اور حسبِ ضرورت گائیڈر فراہم کرتا ہے۔
• اصل کرداروں کی معاونت: یہ طریقہ کسی معروف کردار کے نام پر منحصر نہیں۔

اڈاپٹر کیسے کام کرتا ہے

ریفرنس تصویر کو سفید لیٹر باکسنگ کے ساتھ مطلوبہ آؤٹ پٹ ابعاد میں فٹ کیا جاتا ہے اور Qwen-Image VAE کے ذریعے انکوڈ کیا جاتا ہے۔ یہ ٹائم اسٹیپ صفر پر شور والے ہدف لیٹنٹ کے ساتھ ایک دوسرے، صاف لیٹنٹ فریم کے طور پر شامل ہو جاتی ہے۔

ریفرنس فریم کے RoPE کوآرڈینیٹس کو ہدف تصویر کے گرڈ سے آگے منتقل کر دیا جاتا ہے۔ اس سے پکسل کے لحاظ سے نقل کی حوصلہ شکنی ہوتی ہے، لہٰذا مطلوبہ پوز اور کمپوزیشن ریفرنس سے مختلف ہو سکتے ہیں۔ 45.9 ملین پیرامیٹرز پر مشتمل رینک-32 LoRA، انِیما کو یہ اضافی فریم پڑھنا سکھاتا ہے۔ اڈاپٹر LoRA صرف اس وقت فعال ہوتا ہے جب ریفرنس موجود ہو۔

الگ ٹیکسٹ اور ریفرنس گائیڈنس آپ کو پرامپٹ کی پابندی اور شناخت و انداز کی منتقلی کے درمیان توازن قائم کرنے دیتے ہیں۔ اڈاپٹو پروجیکٹڈ گائیڈنس، یا APG، رنگوں کو قابو میں رکھنے میں مدد کے لیے دستیاب ہے، خاص طور پر جب ریفرنس گائیڈنس زیادہ ہو۔

ضروریات

حسبِ ضرورت نوڈز انسٹال کرنے سے پہلے، کام کرنے والی ComfyUI تنصیب اور انِیما کے لیے درکار ماڈل اجزا تیار کریں:

• Anima base v1.0
• Qwen3-0.6B text encoder
• Qwen-Image VAE
• Anima Reference Adapter pilot weights

انِیما کے اجزا CircleStone Labs کے Anima ریپوزٹری سے دستیاب ہیں۔ اڈاپٹر ویٹس Hugging Face پر Anima Reference Adapter ریپوزٹری سے دستیاب ہیں۔

انسٹالیشن

1. حسبِ ضرورت نوڈز انسٹال کریں

ٹرمینل کھولیں، ComfyUI کی custom_nodes ڈائریکٹری میں جائیں اور ریپوزٹری کلون کریں:

cd ComfyUI/custom_nodes
git clone https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter.git

2. اڈاپٹر ویٹس ڈاؤن لوڈ کریں

anima_ref_adapter_pilot_r32.safetensors ڈاؤن لوڈ کریں اور اسے درج ذیل ڈائریکٹری میں رکھیں:

ComfyUI/models/loras/anima_ref_adapter_pilot_r32.safetensors

3. Patch Sage Attention انسٹال کریں یا اسے بائی پاس کریں

دونوں شامل شدہ مثال ورک فلو ComfyUI-KJNodes کے Patch Sage Attention نوڈز استعمال کرتے ہیں۔ اگر آپ SageAttention استعمال کرتے ہیں تو KJNodes انسٹال کریں۔ بصورتِ دیگر، ورک فلو میں اس نوڈ کو منتخب کریں اور Ctrl+B سے اسے بائی پاس کریں۔

4. ComfyUI دوبارہ شروع کریں

نوڈز اور ویٹس انسٹال کرنے کے بعد ComfyUI سرور دوبارہ شروع کریں۔ نئے نوڈز رجسٹر کرنے کے لیے براؤزر انٹرفیس کو Ctrl+F5 سے ری لوڈ کریں۔

اپنی پہلی تصویر بنائیں

1. بنیادی ورک فلو کھولیں

کلون کی گئی ریپوزٹری سے workflows/anima_ref_adapter.json لوڈ کر کے ComfyUI میں کھولیں۔ دوسرا ورک فلو، workflows/anima_ref_adapter_pag.json، Anima Safe PAG شامل کرتا ہے اور بنیادی سیٹ اپ کے کام کرنے کے بعد مفید ہے۔

2. ریفرنس تصویر لوڈ کریں

کردار کی شناخت اور انداز منتقل کرنے کے لیے اس کی ایک واضح تصویر منتخب کریں۔ Anima Ref Latent نوڈ تصویر کو منتخب کردہ آؤٹ پٹ ابعاد میں فٹ کرتا ہے، جہاں ضروری ہو سفید لیٹر باکسنگ شامل کرتا ہے اور اسے VAE کے ذریعے انکوڈ کرتا ہے۔ یہ خالی ہدف لیٹنٹ اور مطابقت رکھنے والے ملٹی ریزولوشن ورک فلو کے لیے نصف سائز کا ریفرنس انکوڈ بھی تیار کرتا ہے۔

3. صرف منظر پر مبنی پرامپٹ لکھیں

معیار کے الفاظ، کردار کی جنس، solo اور منظر کے ٹیگز استعمال کریں۔ کردار کا نام، آرٹسٹ کا نام یا ظاہری شکل کی تفصیل شامل نہ کریں۔ عمومی پرامپٹ کی ساخت یہ ہے:

masterpiece, best quality, score_7, newest, highres, absurdres, safe, <gender>, solo, <scene>

مثال کے طور پر، ریفرنس کردار کو غروبِ آفتاب کے وقت ساحل پر دکھانے کے لیے یہ استعمال کریں:

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, cowboy shot, looking back, smile, beach, ocean, sunset

صرف منظر پر مبنی دیگر پرامپٹ آئیڈیاز میں شامل ہیں:

• upper body, sitting, holding cup, drinking, cafe, indoors, window, sunlight
• portrait, from side, looking afar, cherry blossoms, petals
• full body, standing, snow, forest, winter
• upper body, reading, holding book, library, bookshelf

4. تجویز کردہ ترتیبات لاگو کریں

بنیادی ماڈل کے لیے ان اقدار سے آغاز کریں:

• Compute dtype: ModelComputeDtype کے ذریعے bf16
• Sampler: Euler
• Steps: 28 سے 30
• Scheduler: simple
• Text CFG: 4.5
• Reference guidance: 4.5 سے 6
• Correction: apg، یا phi 0.5 کے ساتھ rescale
• Reference offset: ref_offset_h کو اس کی تربیتی قدر 1.0 پر برقرار رکھیں

fp16 کے بجائے bf16 استعمال کریں۔ پروجیکٹ کی دستاویزات کے مطابق Anima، fp16 میں overflow ہو جاتا ہے۔

5. ورک فلو کو قطار میں شامل کریں

یقینی بنائیں کہ ماڈل، VAE، ٹیکسٹ انکوڈر، ریفرنس امیج، اڈاپٹر ویٹس اور پرامپٹ درست طور پر منسلک ہیں۔ ہدفی تصویر تیار کرنے کے لیے پرامپٹ کو قطار میں شامل کریں۔

کسٹم نوڈز کو سمجھنا

Anima Ref Adapter Loader

یہ نوڈ اڈاپٹر LoRA کو Anima کے MODEL سے منسلک کرتا ہے۔ ref_offset_h کو 1.0 پر برقرار رکھیں، کیونکہ تربیت کے دوران یہی قدر استعمال کی گئی تھی۔

Anima Ref Latent

یہ نوڈ ریفرنس اور ہدفی لیٹنٹس تیار کرتا ہے۔ یہ ریفرنس کو فٹ کر کے لیٹر باکس کرتا ہے، VAE کے ذریعے اسے انکوڈ کرتا ہے، نصف سائز کا انکوڈ بناتا ہے، اور منتخب آؤٹ پٹ سائز پر ایک خالی لیٹنٹ واپس کرتا ہے۔

Anima Ref Guider

یہ نوڈ SamplerCustomAdvanced کے زیر استعمال GUIDER تیار کرتا ہے۔ یہ ٹیکسٹ cfg اور ref_guidance کے لیے الگ کنٹرولز کے ساتھ APG یا rescale correction فراہم کرتا ہے۔ یہ PAG جیسے post-CFG patches بھی چلاتا ہے۔

اعلیٰ درجے کی ٹیوننگ کے مشورے

شناخت اور پرامپٹ کی پابندی میں توازن رکھیں

ریفرنس گائیڈنس اس بات کو کنٹرول کرتی ہے کہ نتیجہ ریفرنس کی کتنی مضبوطی سے پیروی کرے۔ قدر 1 کمزور اور کم مہنگی conditioning فراہم کرتی ہے۔ 4.5 سے 6 تک کی قدریں عموماً کردار کی مزید تفصیل اور اسٹائل برقرار رکھتی ہیں، لیکن قدر بڑھانے سے زیادہ saturation بھی پیدا ہو سکتی ہے۔ زیادہ گائیڈنس استعمال کرتے وقت APG تجویز کردہ correction ہے۔

اختیاری LoRAs کو درست ترتیب میں استعمال کریں

عام LoRAs کو Anima Ref Adapter Loader سے پہلے منسلک کرنا چاہیے۔ گیلری کی مثالوں میں Anima context-detailer LoRA تقریباً 0.3 اور base-slider LoRA تقریباً 0.6 پر استعمال کیا گیا تھا۔ یہ اضافے اختیاری ہیں، انسٹالیشن کے لیے ضروری نہیں۔

Anima Safe PAG شامل کریں

زیادہ جدید گراف کے لیے workflows/anima_ref_adapter_pag.json کھولیں۔ گیلری کی configuration میں block 18 پر Anima Safe PAG استعمال کیا گیا، جس کا scale 1.3 اور interval 0.2 سے 0.9 تک تھا۔

Anima turbo LoRA احتیاط سے استعمال کریں

Anima turbo LoRA بھی اڈاپٹر کے ساتھ کام کرتا ہے۔ اسے اڈاپٹر لوڈر سے پہلے لوڈ کریں، پھر بنیادی ماڈل کی تجویز کردہ ترتیبات کے بجائے turbo LoRA کی معمول کی step اور CFG ترتیبات استعمال کریں۔ ریفرنس اڈاپٹر کو خود Anima base v1.0 پر تربیت دی گئی تھی۔

سنگل ریزولوشن سیمپلنگ کو ترجیح دیں

28 سے 30 steps کے ساتھ Euler اور simple scheduler تجویز کردہ نقطۂ آغاز ہیں۔ README کے مطابق SamplerSPEED کا half-resolution مرحلہ ناقابلِ اعتماد ہے، کیونکہ pilot adapter کو اس progressive sampling setup کے لیے تربیت نہیں دی گئی تھی۔

ریفرنس ان پٹ بہتر بنائیں

ایسا ریفرنس استعمال کریں جس میں شناخت کی اہم خصوصیات نمایاں ہوں، لیکن توقع رکھیں کہ تیار ہونے والا pose اور composition ریفرنس کے بجائے پرامپٹ کی پیروی کریں گے۔ اگر کوئی accessory یا باریک pattern غائب ہو جائے تو reference guidance بڑھانے سے مدد مل سکتی ہے، تاہم pilot model میں چھوٹی تفصیلات کے حوالے سے معلوم حدود موجود ہیں۔

موجودہ حدود

• کردار کی شناخت، ڈرائنگ کے اسٹائل کی نسبت زیادہ قابلِ اعتماد طریقے سے منتقل ہوتی ہے۔
• بہت زیادہ painterly styles ناقص طور پر منتقل ہو سکتے ہیں۔
• چھوٹے patterns، نشانات، earrings اور جلد کے غیر معمولی رنگ اکثر ضائع ہو جاتے ہیں۔
• بڑے ملبوسات کا رنگ تبدیل ہو سکتا ہے۔
• ریفرنس میں موجود کردار کبھی کبھار منظر کے اندر ایک object کے طور پر دوبارہ ظاہر ہو سکتا ہے۔
• اڈاپٹر کو صرف Anima سے تیار کردہ تصاویر پر تربیت دی گئی تھی اور یہ بنیادی ماڈل کے تعصبات بھی منتقل کرتا ہے۔
• اس pilot release میں کردار اور اسٹائل کے الگ الگ references دستیاب نہیں ہیں۔

روڈمیپ میں الگ کردار اور اسٹائل تصاویر، تین artist styles میں 2,000 نئے کرداروں پر مشتمل بڑا dataset، بہتر painterly-style اور fine-detail transfer، اور progressive samplers کے لیے half-resolution training pairs شامل ہیں۔

لائسنسنگ

ComfyUI node code کو Apache 2.0 license کے تحت تقسیم کیا جاتا ہے۔ اڈاپٹر weights، CircleStone Model سے ماخوذ ہیں اور CircleStone Non-Commercial License استعمال کرتے ہیں۔ تیار کردہ کام استعمال کرنے یا اڈاپٹر کو کسی پروجیکٹ میں شامل کرنے سے پہلے weights کے لائسنس کا جائزہ لیں۔ repository میں بیان کیا گیا ہے کہ یہ پروجیکٹ CircleStone Labs سے وابستہ یا اس کی توثیق شدہ نہیں ہے۔

نتیجہ

Anima Reference Adapter کردار کو شناخت، فنکار یا ظاہری شکل کے ٹیگز لکھے بغیر نئے مناظر میں منتقل کرنے کا ایک عملی طریقہ فراہم کرتا ہے۔ بنیادی ورک فلو سے آغاز کریں، bf16، Euler sampling، CFG 4.5، اور 4.5 سے 6 کے درمیان reference guidance استعمال کریں۔ بنیادی ورک فلو کے درست کام کرنے کے بعد APG، Anima Safe PAG یا اختیاری LoRAs شامل کریں، جبکہ عام LoRAs کو adapter loader سے پہلے رکھیں۔