Unda Wahusika Wanaofanana Kutoka kwa Picha Moja ya Marejeo ukitumia Anima Reference Adapter

Anima Reference Adapter ni Nini?

Anima Reference Adapter ni seti ya nodi maalum za ComfyUI za kutengeneza picha ya Anima kwa kutumia picha moja ya marejeleo na prompt inayohusu tukio pekee. Inajaribu kuhifadhi ni nani anayeonyeshwa—ikiwemo nywele, macho, mavazi, vifaa vya ziada, na baadhi ya mtindo wa mchoro—huku ikiruhusu prompt kudhibiti mkao, mandharinyuma, kitendo, upangaji wa picha, na muundo.

Huhitaji kujumuisha jina la mhusika, tagi ya msanii, au tagi za kina za mwonekano. Hii huifanya adapter kuwa muhimu kwa wahusika wa asili pamoja na wahusika wanaojulikana. Toleo la sasa ni toleo la majaribio lililofunzwa kwa wahusika 300 kwa hatua 2,000.

Mfano huu unaonyesha mtiririko wa kazi uliokusudiwa: utambulisho wa mwonekano unatoka kwenye picha ya marejeleo, huku prompt kama vile full body, walking, hands in pockets, city, street, night, rain ikifafanua tukio jipya.

Vipengele Muhimu

• Uwekaji wa masharti kwa picha moja: Toa picha moja ili kuhamisha utambulisho wa mhusika na baadhi ya sifa za kimtindo.
• Prompt inayohusu tukio pekee: Eleza kitendo, mkao, eneo, upangaji wa picha, na mwangaza unaotaka badala ya kurudia mwonekano wa mhusika.
• Mwongozo huru: Rekebisha CFG ya maandishi na mwongozo wa marejeleo kando.
• APG na urekebishaji wa rescale: Dhibiti ujazo wa rangi uliopitiliza katika thamani kubwa za mwongozo wa marejeleo.
• Muunganisho wa ComfyUI: Mradi hutoa kipakiaji, nodi ya latent ya marejeleo, na guider maalum.
• Msaada kwa wahusika wa asili: Mbinu hii haitegemei jina la mhusika linalotambulika.

Jinsi Adapter Inavyofanya Kazi

Picha ya marejeleo hurekebishwa kulingana na vipimo vya matokeo vilivyoombwa kwa kuongezewa mipaka nyeupe, kisha husimbwa na Qwen-Image VAE. Inakuwa fremu ya pili, safi ya latent katika timestep sifuri kando ya latent yenye kelele ya lengwa.

Kuratibu za RoPE za fremu ya marejeleo husogezwa nje ya gridi ya picha lengwa. Hii huzuia kunakili kwa mpangilio wa pikseli, na kuruhusu mkao na muundo ulioombwa kutofautiana na marejeleo. LoRA ya rank-32 yenye vigezo milioni 45.9 hufundisha Anima kusoma fremu hii ya ziada. LoRA ya adapter huwa amilifu tu wakati marejeleo yapo.

Mwongozo tofauti wa maandishi na marejeleo hukuruhusu kusawazisha ufuataji wa prompt dhidi ya uhamishaji wa utambulisho na mtindo. Mwongozo unaobadilika wa makadirio, au APG, unapatikana kusaidia kudhibiti rangi wakati mwongozo wa marejeleo uko juu.

Mahitaji

Kabla ya kusakinisha nodi maalum, tayarisha usakinishaji unaofanya kazi wa ComfyUI na vipengele vya modeli vinavyohitajika na Anima:

• Anima base v1.0
• Kisimbaji cha maandishi Qwen3-0.6B
• Qwen-Image VAE
• Uzito wa majaribio wa Anima Reference Adapter

Vipengele vya Anima vinapatikana katika hazina ya Anima ya CircleStone Labs. Uzito wa adapter unapatikana katika hazina ya Anima Reference Adapter kwenye Hugging Face.

Usakinishaji

1. Sakinisha nodi maalum

Fungua terminali, nenda kwenye saraka ya custom_nodes ya ComfyUI, kisha kloni hazina:

cd ComfyUI/custom_nodes
git clone https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter.git

2. Pakua uzito wa adapter

Pakua anima_ref_adapter_pilot_r32.safetensors na uweke katika saraka ifuatayo:

ComfyUI/models/loras/anima_ref_adapter_pilot_r32.safetensors

3. Sakinisha au ruka Patch Sage Attention

Mtiririko wa kazi wa mifano yote miwili iliyojumuishwa hutumia nodi ya Patch Sage Attention kutoka ComfyUI-KJNodes. Sakinisha KJNodes ikiwa unatumia SageAttention. Vinginevyo, chagua nodi hiyo katika mtiririko wa kazi na iruke kwa kutumia Ctrl+B.

4. Anzisha upya ComfyUI

Anzisha upya seva ya ComfyUI baada ya kusakinisha nodi na uzito. Pakia upya kiolesura cha kivinjari kwa Ctrl+F5 ili nodi mpya zisajiliwe.

Tengeneza Picha Yako ya Kwanza

1. Fungua mtiririko wa kazi wa msingi

Pakia workflows/anima_ref_adapter.json kutoka kwenye hazina iliyoklonishwa hadi ComfyUI. Mtiririko wa pili wa kazi, workflows/anima_ref_adapter_pag.json, unajumuisha Anima Safe PAG na ni muhimu baada ya usanidi wa msingi kufanya kazi.

2. Pakia picha ya marejeleo

Chagua picha iliyo wazi ya mhusika ambaye utambulisho na mtindo wake unataka kuhamisha. Nodi ya Anima Ref Latent hutosheleza picha kwenye vipimo vya matokeo vilivyochaguliwa, huongeza mipaka nyeupe inapohitajika, na huisimba kwa VAE. Pia huunda latent tupu ya lengwa na usimbaji wa marejeleo wa nusu ya ukubwa kwa ajili ya mitiririko ya kazi inayooana na maazimio mengi.

3. Andika prompt inayohusu tukio pekee

Tumia maneno ya ubora, jinsia ya mhusika, solo, na tagi za tukio. Usiongeze jina la mhusika, jina la msanii, au maelezo ya mwonekano. Muundo wa jumla wa prompt ni:

masterpiece, best quality, score_7, newest, highres, absurdres, safe, <gender>, solo, <scene>

Kwa mfano, ili kumweka mhusika wa marejeleo kwenye ufuo wakati wa machweo, tumia:

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, cowboy shot, looking back, smile, beach, ocean, sunset

Mawazo mengine ya prompt yanayohusu tukio pekee ni pamoja na:

• upper body, sitting, holding cup, drinking, cafe, indoors, window, sunlight
• portrait, from side, looking afar, cherry blossoms, petals
• full body, standing, snow, forest, winter
• upper body, reading, holding book, library, bookshelf

4. Tumia mipangilio inayopendekezwa

Kwa modeli msingi, anza na thamani hizi:

• Aina ya data ya ukokotoaji: bf16 kupitia ModelComputeDtype
• Sampler: Euler
• Hatua: 28 hadi 30
• Mpangaji: simple
• Text CFG: 4.5
• Uelekezi wa marejeleo: 4.5 hadi 6
• Marekebisho: apg, au rescale yenye phi 0.5
• Mpishano wa marejeleo: Weka ref_offset_h kwenye thamani yake ya mafunzo ya 1.0

Tumia bf16 badala ya fp16. Kulingana na nyaraka za mradi, Anima hufurika inapotumia fp16.

5. Weka workflow kwenye foleni

Thibitisha kuwa modeli, VAE, kisimbaji cha maandishi, picha ya marejeleo, uzani wa adapta, na prompt vimeunganishwa kwa usahihi. Weka prompt kwenye foleni ili kuzalisha picha lengwa.

Kuelewa Nodi Maalum

Anima Ref Adapter Loader

Nodi hii huunganisha LoRA ya adapta kwenye MODEL ya Anima. Weka ref_offset_h kwenye 1.0, ambayo ndiyo thamani iliyotumika wakati wa mafunzo.

Anima Ref Latent

Nodi hii huandaa latent za marejeleo na lengwa. Hutoshea na kuweka letterbox kwenye marejeleo, huyasimba kwa kutumia VAE, huunda usimbaji wa nusu saizi, na kurejesha latent tupu yenye ukubwa wa matokeo uliochaguliwa.

Anima Ref Guider

Nodi hii huzalisha GUIDER inayotumiwa na SamplerCustomAdvanced. Hutoa vidhibiti tofauti vya maandishi cfg na ref_guidance, pamoja na marekebisho ya APG au rescale. Pia huendesha viraka vya baada ya CFG kama vile PAG.

Vidokezo vya Urekebishaji wa Kina

Weka usawa kati ya utambulisho na ufuataji wa prompt

Uelekezi wa marejeleo hudhibiti kiwango ambacho matokeo yanafuata marejeleo. Thamani ya 1 hutoa urekebishaji dhaifu na wa gharama ndogo. Thamani kutoka 4.5 hadi 6 kwa kawaida huhifadhi maelezo na mtindo zaidi wa mhusika, lakini kuongeza thamani kunaweza pia kusababisha kujaa kwa rangi zaidi. APG ndiyo marekebisho yanayopendekezwa unapotumia uelekezi wa juu.

Tumia LoRA za hiari kwa mpangilio sahihi

LoRA za kawaida zinapaswa kuunganishwa kabla ya Anima Ref Adapter Loader. Mifano ya kwenye ghala ilitumia LoRA ya Anima context-detailer kwa takriban 0.3 na LoRA ya base-slider kwa takriban 0.6. Nyongeza hizi ni za hiari, si mahitaji ya usakinishaji.

Ongeza Anima Safe PAG

Kwa grafu ya kina zaidi, fungua workflows/anima_ref_adapter_pag.json. Usanidi wa ghala ulitumia Anima Safe PAG kwenye bloku 18, yenye scale ya 1.3 katika kipenyo cha 0.2 hadi 0.9.

Tumia LoRA ya Anima turbo kwa uangalifu

LoRA ya Anima turbo pia hufanya kazi na adapta. Ipake kabla ya loader ya adapta, kisha tumia mipangilio ya kawaida ya hatua na CFG ya LoRA ya turbo badala ya mapendekezo ya modeli msingi. Adapta ya marejeleo yenyewe ilifunzwa kwenye Anima base v1.0.

Pendelea usampulishaji wa azimio moja

Euler yenye hatua 28 hadi 30 na mpangaji wa simple ndiyo sehemu ya kuanzia inayopendekezwa. README inaripoti kuwa hatua ya nusu-azimio ya SamplerSPEED si ya kuaminika kwa sababu adapta ya majaribio haikufunzwa kwa usanidi huo wa usampulishaji wa hatua kwa hatua.

Boresha ingizo la marejeleo

Tumia marejeleo ambayo vipengele muhimu vya utambulisho vinaonekana, lakini tarajia pozi na muundo wa picha iliyozalishwa kufuata prompt badala ya marejeleo. Ikiwa kifaa au mchoro mdogo utatoweka, kuongeza uelekezi wa marejeleo kunaweza kusaidia, ingawa modeli ya majaribio ina mipaka inayojulikana kuhusu maelezo madogo.

Mipaka ya Sasa

• Utambulisho wa mhusika huhamishwa kwa uaminifu zaidi kuliko mtindo wa mchoro.
• Mitindo yenye uchoraji mzito inaweza kuhamishwa vibaya.
• Michoro midogo, makovu, hereni, na rangi za ngozi zisizo za kawaida mara nyingi hupotea.
• Mavazi makubwa yanaweza kubadilisha rangi.
• Mhusika wa marejeleo anaweza mara kwa mara kujitokeza tena kama kitu ndani ya tukio.
• Adapta ilifunzwa tu kwenye picha zilizozalishwa na Anima na hurithi upendeleo wa modeli msingi.
• Marejeleo tofauti ya mhusika na mtindo hayapatikani katika toleo hili la majaribio.

Ramani ya maendeleo inajumuisha picha tofauti za mhusika na mtindo, seti kubwa ya data yenye wahusika wapya 2,000 katika mitindo mitatu ya wasanii, uhamishaji bora wa mitindo ya uchoraji na maelezo madogo, pamoja na jozi za mafunzo za nusu-azimio kwa wasampulishaji wa hatua kwa hatua.

Leseni

Msimbo wa nodi ya ComfyUI unasambazwa chini ya leseni ya Apache 2.0. Uzani wa adapta ni derivative ya CircleStone Model na hutumia CircleStone Non-Commercial License. Kagua leseni ya uzani kabla ya kutumia kazi iliyozalishwa au kuunganisha adapta kwenye mradi. Hifadhi ya mradi inasema kuwa mradi hauhusiani na CircleStone Labs wala haujaidhinishwa nayo.

Hitimisho

Anima Reference Adapter hutoa njia ya vitendo ya kuhamisha mhusika hadi kwenye mandhari mpya bila kuandika lebo za utambulisho, msanii au mwonekano. Anza na mtiririko wa msingi, tumia bf16, sampuli ya Euler, CFG 4.5, na mwongozo wa marejeo kati ya 4.5 na 6. Baada ya mtiririko mkuu kufanya kazi, ongeza APG, Anima Safe PAG au LoRA za hiari, huku ukiweka LoRA za kawaida kabla ya kipakiaji cha adapta.