Dhibiti Marejeo ya Qwen Image 2.1 na Virai vya Maagizo katika ComfyUI

ComfyUI-qwen_img_2_1_enhancer Inafanya Nini

ComfyUI-qwen_img_2_1_enhancer inaongeza nodi mbili kwa mtiririko wa kazi wa asili wa Qwen Image 2.1 katika ComfyUI. Nodi hizi hukuruhusu kudhibiti kipaumbele cha umakini wa picha mahususi za marejeleo na kusisitiza au kupunguza vifungu vilivyochaguliwa vya prompt.

Tumia nodi hizo kivyake au uzichanganye katika mtiririko uleule wa kazi. Zinarekebisha alama za umakini ndani ya transformer asili ya Qwen Image 2.1 badala ya kubadilisha ukubwa wa text embeddings, kuunganisha pikseli za marejeleo, au kubadilisha picha chanzo.

• Qwen Image 2.1 Reference Strength: Hubadilisha kipaumbele cha umakini wa picha ya marejeleo iliyochaguliwa.
• Qwen Image 2.1 Edit — Phrase Weights: Huongeza sintaksia ya vifungu vyenye uzani kwenye prompt chanya na hasi, na kutoa matokeo ya conditioning na latent.

Mahitaji na Usakinishaji

Unahitaji ComfyUI yenye usaidizi asilia wa Qwen Image 2.1, pamoja na usanidi unaofanya kazi wa modeli ya Qwen Image 2.1, text encoder, na VAE. Nodi maalum haihitaji vifurushi vya ziada vya Python wala mabadiliko kwenye faili msingi za ComfyUI.

1. Fungua terminali na uende kwenye saraka ya custom-node ya ComfyUI:

cd ComfyUI/custom_nodes

1. Clone hazina:

git clone https://github.com/capitan01R/ComfyUI-qwen_img_2_1_enhancer.git

Anzisha upya ComfyUI baada ya kusakinisha au kusasisha nodi. Baada ya kuwasha upya, tafuta nodi mbili za Qwen Image 2.1 enhancer kwenye menyu ya nodi.

Kurekebisha Nguvu ya Picha ya Marejeleo

Nodi ya Qwen Image 2.1 Reference Strength hudhibiti umakini kwa picha moja ya marejeleo iliyounganishwa. Iongeze baada ya modeli yako na vipakiaji vya LoRA vya hiari, kisha unganisha matokeo yake ya MODEL kwenye sampler.

Load Diffusion Model -> LoRA loaders (optional) -> Reference Strength -> sampler

Unganisha picha za marejeleo na VAE kwenye nodi asilia ya Text Encode Qwen Image 2.1 au kwenye encoder ya Phrase Weights iliyojumuishwa. Uchaguzi wa marejeleo hufuata mpangilio wa picha zilizounganishwa kwenye encoder. Ingizo tupu za picha hurukwa.

Ingizo za Reference Strength

• model: Modeli ya Qwen Image 2.1, ikijumuisha LoRA zozote zilizotumika.
• reference_index: Marejeleo ya kurekebisha. 1 huchagua picha ya kwanza iliyounganishwa, 2 huchagua ya pili, na kuendelea hivyo.
• strength: Kizidishi cha uwezekano wa umakini. Thamani yake chaguo-msingi ni 1.2.

Ufafanuzi wa Thamani za Strength

• 1.0 huhifadhi uzani asilia wa marejeleo.
• Thamani zilizo juu ya 1.0 huongeza kipaumbele cha marejeleo yaliyochaguliwa.
• Thamani zilizo kati ya 0.0 na 1.0 hupunguza kipaumbele chake.
• 0.0 huzuia umakini wa moja kwa moja kwa latent tokens za marejeleo yaliyochaguliwa, ingawa taarifa kuhusu picha inaweza kubaki sehemu nyingine kwenye conditioning.

Marekebisho hutumika kwa picha nzima ya marejeleo. Ili kudhibiti marejeleo kadhaa, unganisha nodi nyingi za Reference Strength kwa mfuatano. Ikiwa faharasa ileile inarudiwa, mpangilio wa baadaye hubadilisha strength ya awali. Kuweka faharasa kuwa 1.0 huondoa marekebisho yake.

Kutumia Vifungu vya Prompt Vyenye Uzani

Tumia Qwen Image 2.1 Edit — Phrase Weights badala ya nodi asilia ya Text Encode Qwen Image 2.1. Unganisha Qwen Image 2.1 CLIP asilia, picha zako za marejeleo, na VAE. Kisha tuma matokeo ya nodi ya positive, negative, na latent kwenye sampler.

Encoder haihitaji muunganisho wa MODEL. Modeli hufuata njia yake ya kawaida hadi kwenye sampler.

Sintaksia ya Phrase-Weight

Weka neno au kifungu ndani ya mabano, ongeza koloni, kisha bainisha uzani usio hasi:

Add (warm lighting:1.3) and (soft shadows:1.1).

• 1.0 hutumia uzani asilia wa kifungu.
• Thamani zilizo juu ya 1.0 huongeza kipaumbele cha kifungu.
• Thamani zilizo kati ya 0.0 na 1.0 hupunguza kipaumbele cha kifungu.
• 0.0 hukandamiza kwa nguvu umakini kwa tokeni za kifungu kilichochaguliwa.

Prompt chanya na hasi zina uzani huru. Tukio lililowekwa alama pekee ndilo hupokea marekebisho, hivyo tumia maneno au vifungu kamili katika sehemu tofauti zisizo na viwango vilivyopachikwa.

Miunganisho na Matokeo ya Phrase Weights

• clip: Text encoder asilia ya Qwen Image 2.1 iliyopakiwa kwa aina ya CLIP qwen_image.
• prompt: Prompt chanya, ikijumuisha vifungu vya hiari vyenye uzani.
• negative_prompt: Prompt hasi, yenye vifungu vyake vya hiari vyenye uzani.
• vae: VAE asilia ya Qwen Image 2.1. Inahitajika unapotumia nodi hii pamoja na Reference Strength.
• resolution: Lengo la kubadilisha ukubwa wa marejeleo. Chaguo-msingi ni 1024; kuiweka kuwa 0 huhifadhi marejeleo karibu na vipimo vyake asilia, vilivyopozwa kuwa vizidisho vya 32.
• images: Picha za marejeleo. Soketi za ziada za picha huonekana inapohitajika.
• positive na negative: Matokeo ya conditioning kwa sampler.
• latent: Latent tupu yenye ukubwa unaotokana na marejeleo ya kwanza baada ya kubadilisha ukubwa.
• phrase_report: Maandishi ya hiari ya JSON yanayoonyesha prompt safi, uzani, na safu za tokeni zilizochaguliwa.

Kutumia Nodi Zote Mbili Pamoja

Kwa mtiririko wa kazi unaodhibiti marejeleo ya picha na vifungu vya prompt, pitisha modeli kupitia Reference Strength na peleka matokeo ya conditioning na latent kutoka Phrase Weights kwenye sampler.

MODEL -> Nguvu ya Marejeleo -------------------------> MODEL ya sampler

CLIP + VAE + picha -> Uzito wa Virai
                           |------------------------> sampler chanya
                           |------------------------> sampler hasi
                           `------------------------> sampler latent_image

Unapolinganisha matokeo, badilisha kidhibiti kimoja kwa wakati huku mipangilio mingine ikiwa ileile. Hii hurahisisha kubaini ikiwa tofauti ya mwonekano inatokana na kipaumbele cha marejeleo au kipaumbele cha kirai.

Vidokezo vya Kina na Vikwazo

Nodi zote mbili hutumia marekebisho ya kihisabati ya umakini. Kwa uzito chanya w, alama zilizochaguliwa za umakini hupokea log(w) kabla ya softmax. Hii hubadilisha kipaumbele cha umakini wa kulinganisha huku ikihifadhi urekebishaji wa jumla.

• Nguvu au uzito wa kirai wa 2.0 hauhakikishi athari inayoonekana kuwa mara mbili.
• Thamani kubwa sana zinaweza kutawala maagizo au marejeleo mengine na kupunguza unyumbufu wa uhariri.
• Reference Strength huchagua funguo za picha za marejeleo, huku Phrase Weights ikichagua funguo za maandishi zinazohusiana na virai vilivyowekwa alama.
• Uakibishaji asilia wa kiambishi awali huhifadhiwa.
• Mifumo ya nyuma ya umakini lazima iauni vinyago vya kujumlisha.
• Uchoraji wa virai unahitaji vipande kamili vya tokenizer na hauauni embeddings za textual-inversion.
• Kubadilisha safu za tokeni za conditioning baada ya usimbaji wa kirai kunaweza kubatilisha uchoraji wa kirai.

Kwa urekebishaji wa vitendo, anza na thamani asilia ya 1.0, fanya mabadiliko madogo, na kagua phrase_report ya hiari unapohitaji kuthibitisha ni tokeni zipi za prompt zilizochaguliwa.

Hitimisho

ComfyUI-qwen_img_2_1_enhancer hutoa udhibiti maalum kwa mtiririko wa kazi wa uhariri wa Qwen Image 2.1 bila kurekebisha faili kuu za ComfyUI. Sakinisha nodi maalum, tumia Reference Strength kuweka kipaumbele kwa picha mahususi, tumia Phrase Weights kusisitiza au kupunguza msisitizo wa virai vya prompt, na changanya nodi zote mbili unapohitaji udhibiti ulioratibiwa wa marejeleo ya kuona na maagizo ya maandishi.

Mradi umetolewa chini ya Leseni ya MIT.