跳到主要内容
AI教程

在 ComfyUI 中控制 Qwen Image 2.1 的参考图和提示词短语

了解如何安装和使用 ComfyUI-qwen_img_2_1_enhancer,为 Qwen Image 2.1 工作流调整参考图强度,并为正面和负面提示词应用加权短语。

在 ComfyUI 中控制 Qwen Image 2.1 的参考图和提示词短语

ComfyUI-qwen_img_2_1_enhancer 的功能

ComfyUI-qwen_img_2_1_enhancer 为 ComfyUI 中原生的 Qwen Image 2.1 工作流添加了两个节点。这些节点可让你控制各个参考图像的注意力优先级,并强调或抑制提示词中的指定短语。

你可以单独使用这些节点,也可以在同一工作流中组合使用。它们会直接调整原生 Qwen Image 2.1 Transformer 内部的注意力分数,而不是重新缩放文本嵌入、合成参考像素或修改源图像。

  • Qwen Image 2.1 Reference Strength:更改所选参考图像的注意力优先级。
  • Qwen Image 2.1 Edit — Phrase Weights:为正面和负面提示词添加加权短语语法,并生成条件和潜变量输出。

要求与安装

你需要使用支持原生 Qwen Image 2.1 的 ComfyUI,并准备好可正常运行的 Qwen Image 2.1 模型、文本编码器和 VAE。此自定义节点不需要额外的 Python 软件包,也不需要修改 ComfyUI 核心文件。

  1. 打开终端并进入 ComfyUI 的自定义节点目录:
cd ComfyUI/custom_nodes
  1. 克隆仓库:
git clone https://github.com/capitan01R/ComfyUI-qwen_img_2_1_enhancer.git

安装或更新节点后重启 ComfyUI。重启后,在节点菜单中搜索这两个 Qwen Image 2.1 enhancer 节点。

调整参考图像强度

Qwen Image 2.1 Reference Strength 节点可控制对一个已连接参考图像的注意力。将它添加到模型和可选 LoRA 加载器之后,然后将其 MODEL 输出连接到采样器。

Load Diffusion Model -> LoRA loaders (optional) -> Reference Strength -> sampler

将参考图像和 VAE 连接到原生 Text Encode Qwen Image 2.1 节点,或连接到随附的 Phrase Weights 编码器。参考图像的选择顺序遵循编码器所连接图像的顺序。空图像输入会被跳过。

Reference Strength 输入

  • model:Qwen Image 2.1 模型,包括已应用的 LoRA。
  • reference_index:要调整的参考图像。1 选择第一个已连接图像,2 选择第二个,以此类推。
  • strength:注意力几率乘数。默认值为 1.2。

理解强度值

  • 1.0 保持原生参考权重。
  • 高于 1.0 的值会提高所选参考图像的优先级。
  • 介于 0.0 和 1.0 之间的值会降低其优先级。
  • 0.0 会阻止对所选参考图像潜变量标记的直接注意力,但图像信息可能仍会通过条件中的其他部分保留。

该调整会应用于整个参考图像。要控制多个参考图像,请串联多个 Reference Strength 节点。如果重复使用同一索引,后面的设置会替换之前的强度。将索引设置为 1.0 会移除其调整。

应用加权提示短语

使用 Qwen Image 2.1 Edit — Phrase Weights,而不是原生的 Text Encode Qwen Image 2.1 节点。连接原生 Qwen Image 2.1 CLIP、参考图像和 VAE,然后将该节点的 positive、negative 和 latent 输出发送到采样器。

编码器不需要连接 MODEL。模型仍按正常路径连接到采样器。

短语权重语法

将单词或短语放在括号中,添加冒号,并指定一个非负权重:

Add (warm lighting:1.3) and (soft shadows:1.1).
  • 1.0 使用原生短语权重。
  • 高于 1.0 的值会提高短语的优先级。
  • 介于 0.0 和 1.0 之间的值会降低短语的优先级。
  • 0.0 会强烈抑制对所选短语标记的注意力。

正面和负面提示词拥有独立的权重。只有被标记的匹配项会接收调整,因此请在彼此独立且不嵌套的部分中使用完整的单词或短语。

Phrase Weights 的连接与输出

  • clip:使用 CLIP 类型 qwen_image 加载的原生 Qwen Image 2.1 文本编码器。
  • prompt:正面提示词,可包含可选的加权短语。
  • negative_prompt:负面提示词,可包含独立的可选加权短语。
  • vae:原生 Qwen Image 2.1 VAE。将此节点与 Reference Strength 组合使用时必须连接。
  • resolution:参考图像的调整尺寸目标。默认值为 1024;设置为 0 可使参考图像保持接近原始尺寸,并四舍五入到 32 的倍数。
  • images:参考图像。根据需要会显示额外的图像接口。
  • positive 和 negative:发送给采样器的条件输出。
  • latent:根据调整尺寸后的第一张参考图像生成的空潜变量。
  • phrase_report:可选的 JSON 文本,显示清理后的提示词、权重和选定的标记行。

同时使用两个节点

如果工作流需要同时控制图像参考和提示短语,请将模型路径经过 Reference Strength,并将 Phrase Weights 的条件和潜变量输出连接到采样器。

MODEL -> Reference Strength -------------------------> sampler MODEL

CLIP + VAE + images -> Phrase Weights
                           |------------------------> sampler positive
                           |------------------------> sampler negative
                           `------------------------> sampler latent_image

比较结果时,每次只更改一个控制项,同时保持其他设置不变。这样更容易判断视觉差异究竟来自参考优先级还是短语优先级。

高级提示与限制

两个节点都会应用数学注意力调整。对于正权重 w,选定的注意力分数会在 softmax 之前加上 log(w)。这会改变相对注意力优先级,同时保留归一化。

  • 强度或短语权重为 2.0 并不保证可见效果正好翻倍。
  • 过大的数值可能压过其他指令或参考内容,并降低编辑灵活性。
  • Reference Strength 选择参考图像键,而 Phrase Weights 选择属于标记短语的文本键。
  • 原生前缀缓存会保留。
  • 注意力后端必须支持加性掩码。
  • 短语映射需要完整的分词器片段,不支持文本反演嵌入。
  • 在短语编码后更改条件令牌行,可能会使短语映射失效。

在实际调校时,请从原生值 1.0 开始进行小幅调整;需要确认选中了哪些提示词令牌时,可查看可选的 phrase_report。

结语

ComfyUI-qwen_img_2_1_enhancer 为 Qwen Image 2.1 编辑工作流提供了针对性的控制,无需修改 ComfyUI 核心文件。安装自定义节点后,使用 Reference Strength 提高单张图像的优先级,使用 Phrase Weights 强调或抑制提示词短语;需要协调控制视觉参考和文本指令时,可同时使用这两个节点。

本项目依据 MIT License 发布。