Điều khiển ảnh tham chiếu và cụm từ prompt Qwen Image 2.1 trong ComfyUI

ComfyUI-qwen_img_2_1_enhancer thực hiện được gì

ComfyUI-qwen_img_2_1_enhancer bổ sung hai node cho các workflow Qwen Image 2.1 gốc trong ComfyUI. Các node này cho phép bạn điều khiển mức độ ưu tiên chú ý của từng ảnh tham chiếu và nhấn mạnh hoặc giảm mức độ chú ý của các cụm từ được chọn trong prompt.

Bạn có thể sử dụng các node độc lập hoặc kết hợp chúng trong cùng một workflow. Chúng điều chỉnh điểm chú ý bên trong transformer Qwen Image 2.1 gốc thay vì thay đổi tỷ lệ embedding văn bản, ghép pixel ảnh tham chiếu hoặc thay đổi ảnh nguồn.

• Qwen Image 2.1 Reference Strength: Thay đổi mức độ ưu tiên chú ý của một ảnh tham chiếu được chọn.
• Qwen Image 2.1 Edit — Phrase Weights: Thêm cú pháp trọng số cụm từ vào prompt dương và âm, đồng thời tạo các đầu ra conditioning và latent.

Yêu cầu và cài đặt

Bạn cần ComfyUI có hỗ trợ gốc cho Qwen Image 2.1, cùng với model Qwen Image 2.1, text encoder và VAE được thiết lập hoạt động. Custom node này không yêu cầu cài thêm gói Python hoặc chỉnh sửa các tệp lõi của ComfyUI.

1. Mở terminal và chuyển đến thư mục custom-node của ComfyUI:

cd ComfyUI/custom_nodes

1. Clone repository:

git clone https://github.com/capitan01R/ComfyUI-qwen_img_2_1_enhancer.git

Khởi động lại ComfyUI sau khi cài đặt hoặc cập nhật node. Sau khi khởi động lại, tìm hai node Qwen Image 2.1 enhancer trong menu node.

Điều chỉnh cường độ ảnh tham chiếu

Node Qwen Image 2.1 Reference Strength điều khiển mức độ chú ý đến một ảnh tham chiếu được kết nối. Thêm node này sau model và các LoRA loader tùy chọn, sau đó kết nối đầu ra MODEL với sampler.

Load Diffusion Model -> LoRA loaders (optional) -> Reference Strength -> sampler

Kết nối các ảnh tham chiếu và VAE với node Text Encode Qwen Image 2.1 gốc hoặc encoder Phrase Weights đi kèm. Việc chọn ảnh tham chiếu tuân theo thứ tự ảnh được kết nối với encoder. Các đầu vào ảnh trống sẽ bị bỏ qua.

Đầu vào của Reference Strength

• model: Model Qwen Image 2.1, bao gồm mọi LoRA đã áp dụng.
• reference_index: Ảnh tham chiếu cần điều chỉnh. 1 chọn ảnh được kết nối đầu tiên, 2 chọn ảnh thứ hai, v.v.
• strength: Hệ số nhân xác suất chú ý. Giá trị mặc định là 1.2.

Diễn giải các giá trị cường độ

• 1.0 giữ nguyên trọng số tham chiếu gốc.
• Giá trị lớn hơn 1.0 tăng mức độ ưu tiên của ảnh tham chiếu được chọn.
• Giá trị từ 0.0 đến 1.0 làm giảm mức độ ưu tiên.
• 0.0 chặn chú ý trực tiếp đến các token latent của ảnh tham chiếu được chọn, dù thông tin về ảnh vẫn có thể còn ở nơi khác trong conditioning.

Điều chỉnh được áp dụng cho toàn bộ ảnh tham chiếu. Để kiểm soát nhiều ảnh tham chiếu, hãy nối chuỗi nhiều node Reference Strength. Nếu cùng một chỉ số được lặp lại, thiết lập sau sẽ thay thế cường độ trước đó. Đặt một chỉ số thành 1.0 sẽ xóa điều chỉnh của chỉ số đó.

Áp dụng trọng số cho các cụm từ trong prompt

Sử dụng Qwen Image 2.1 Edit — Phrase Weights thay cho node Text Encode Qwen Image 2.1 gốc. Kết nối CLIP Qwen Image 2.1 gốc, các ảnh tham chiếu và VAE. Sau đó gửi các đầu ra positive, negative và latent của node đến sampler.

Encoder không cần kết nối MODEL. Model vẫn đi theo đường dẫn thông thường đến sampler.

Cú pháp trọng số cụm từ

Đặt một từ hoặc cụm từ trong dấu ngoặc đơn, thêm dấu hai chấm và chỉ định trọng số không âm:

Add (warm lighting:1.3) and (soft shadows:1.1).

• 1.0 sử dụng trọng số cụm từ gốc.
• Giá trị lớn hơn 1.0 tăng mức độ ưu tiên của cụm từ.
• Giá trị từ 0.0 đến 1.0 làm giảm mức độ ưu tiên của cụm từ.
• 0.0 làm giảm mạnh sự chú ý đến các token của cụm từ được chọn.

Prompt dương và âm có trọng số độc lập. Chỉ lần xuất hiện được đánh dấu mới nhận điều chỉnh, vì vậy hãy dùng các từ hoặc cụm từ hoàn chỉnh trong những phần riêng biệt, không lồng nhau.

Kết nối và đầu ra của Phrase Weights

• clip: Text encoder Qwen Image 2.1 gốc được tải với loại CLIP qwen_image.
• prompt: Prompt dương, có thể bao gồm các cụm từ được gán trọng số.
• negative_prompt: Prompt âm, với các cụm từ được gán trọng số tùy chọn riêng.
• vae: VAE Qwen Image 2.1 gốc. Bắt buộc khi kết hợp node này với Reference Strength.
• resolution: Kích thước đích để thay đổi ảnh tham chiếu. Giá trị mặc định là 1024; đặt thành 0 để giữ ảnh tham chiếu gần với kích thước ban đầu, được làm tròn về bội số của 32.
• images: Các ảnh tham chiếu. Các socket ảnh bổ sung sẽ xuất hiện khi cần.
• positive và negative: Các đầu ra conditioning dành cho sampler.
• latent: Latent rỗng có kích thước dựa trên ảnh tham chiếu đầu tiên sau khi thay đổi kích thước.
• phrase_report: Văn bản JSON tùy chọn hiển thị prompt đã làm sạch, trọng số và các hàng token được chọn.

Sử dụng cả hai node cùng nhau

Để tạo workflow kiểm soát cả ảnh tham chiếu và cụm từ trong prompt, hãy đưa model qua Reference Strength, đồng thời đưa các đầu ra conditioning và latent từ Phrase Weights đến sampler.

MODEL -> Mức độ ưu tiên tham chiếu -------------------------> MODEL của sampler

CLIP + VAE + hình ảnh -> Trọng số cụm từ
                           |------------------------> positive của sampler
                           |------------------------> negative của sampler
                           `------------------------> latent_image của sampler

Khi so sánh kết quả, hãy thay đổi từng tùy chọn một và giữ nguyên các cài đặt khác. Điều này giúp xác định dễ dàng hơn liệu sự khác biệt về hình ảnh đến từ mức độ ưu tiên tham chiếu hay mức độ ưu tiên cụm từ.

Mẹo nâng cao và giới hạn

Cả hai node đều áp dụng điều chỉnh attention bằng toán học. Với trọng số dương w, các điểm attention được chọn sẽ nhận log(w) trước softmax. Điều này thay đổi mức độ ưu tiên attention tương đối mà vẫn giữ nguyên quá trình chuẩn hóa.

• Mức độ mạnh hoặc trọng số cụm từ 2.0 không đảm bảo hiệu ứng hiển thị sẽ tăng gấp đôi.
• Các giá trị rất lớn có thể lấn át những chỉ dẫn hoặc tham chiếu khác và làm giảm tính linh hoạt khi chỉnh sửa.
• Reference Strength chọn các key của hình ảnh tham chiếu, trong khi Phrase Weights chọn các key văn bản thuộc về những cụm từ được đánh dấu.
• Việc lưu đệm tiền tố gốc được giữ nguyên.
• Các backend attention phải hỗ trợ additive mask.
• Việc ánh xạ cụm từ yêu cầu các mảnh tokenizer hoàn chỉnh và không hỗ trợ embedding textual-inversion.
• Thay đổi các hàng token conditioning sau khi mã hóa cụm từ có thể làm mất hiệu lực ánh xạ cụm từ.

Để tinh chỉnh trong thực tế, hãy bắt đầu với giá trị gốc 1.0, thực hiện các thay đổi nhỏ và kiểm tra phrase_report tùy chọn khi cần xác minh những token nào trong prompt đã được chọn.

Kết luận

ComfyUI-qwen_img_2_1_enhancer cung cấp khả năng kiểm soát tập trung cho quy trình chỉnh sửa Qwen Image 2.1 mà không sửa đổi các tệp cốt lõi của ComfyUI. Hãy cài đặt custom node, sử dụng Reference Strength để ưu tiên từng hình ảnh, sử dụng Phrase Weights để nhấn mạnh hoặc giảm mức ưu tiên của các cụm từ trong prompt, và kết hợp cả hai node khi cần kiểm soát đồng bộ các tham chiếu hình ảnh và chỉ dẫn văn bản.

Dự án được phát hành theo Giấy phép MIT.