跳到主要内容
AI教程

使用 Anima Reference Adapter 根据一张参考图创建一致角色

了解如何在 ComfyUI 中安装和使用 Anima Reference Adapter,根据单张角色参考图生成新场景,配置引导与采样,并通过 APG、PAG 和可选 LoRA 改善效果。

使用 Anima Reference Adapter 根据一张参考图创建一致角色

什么是 Anima Reference Adapter?

Anima Reference Adapter 是一组用于 ComfyUI 的自定义节点,可根据一张参考图和仅描述场景的提示词生成 Anima 图像。它会尝试保留画面中人物的身份,包括发型、眼睛、服装、配饰以及部分绘画风格,同时允许提示词控制姿势、背景、动作、取景和构图。

你不需要添加角色名称、艺术家标签或详细的外观标签。这使该适配器既适用于原创角色,也适用于知名角色。当前版本是一个试用版,使用 300 个角色训练了 2,000 步。

参考角色在夜晚多雨的城市中行走

此示例展示了预期的工作流程:参考图提供视觉身份,而诸如 full body, walking, hands in pockets, city, street, night, rain 的提示词则定义新的场景。

主要功能

  • 单图条件控制:提供一张图像,用于迁移角色身份和部分风格特征。
  • 仅场景提示:描述所需的动作、姿势、地点、取景和光照,无需重复角色外观。
  • 独立引导:分别调整文本 CFG 和参考图引导强度。
  • APG 和重缩放校正:控制较高参考图引导值下的过度饱和。
  • ComfyUI 集成:项目提供加载器、参考潜空间节点和自定义引导器。
  • 支持原创角色:该方法不依赖已识别的角色名称。

适配器的工作原理

参考图会通过白色上下或左右留白适配所需的输出尺寸,并由 Qwen-Image VAE 编码。它会在时间步零时,作为第二个干净的潜空间帧,置于带噪目标潜空间旁边。

参考帧的 RoPE 坐标会被移到目标图像网格之外。这样可以减少像素对齐复制,使请求的姿势和构图能够不同于参考图。一个包含 45.9 million 个参数的 rank-32 LoRA 用于教会 Anima 读取这个额外帧。只有存在参考图时,适配器 LoRA 才会启用。

独立的文本引导和参考图引导可以让你在提示词遵循程度与身份、风格迁移之间进行平衡。当参考图引导较高时,还可以使用自适应投影引导(APG)帮助控制色彩。

要求

安装自定义节点之前,请准备好可正常运行的 ComfyUI,并准备 Anima 所需的模型组件:

  • Anima base v1.0
  • Qwen3-0.6B 文本编码器
  • Qwen-Image VAE
  • Anima Reference Adapter 试用版权重

Anima 组件可从 CircleStone Labs Anima 仓库获取。适配器权重可从 Hugging Face 上的 Anima Reference Adapter 仓库获取。

安装

1. 安装自定义节点

打开终端,进入 ComfyUI 的 custom_nodes 目录,然后克隆仓库:

cd ComfyUI/custom_nodes
git clone https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter.git

2. 下载适配器权重

下载 anima_ref_adapter_pilot_r32.safetensors,并将其放入以下目录:

ComfyUI/models/loras/anima_ref_adapter_pilot_r32.safetensors

3. 安装或绕过 Patch Sage Attention

随附的两个示例工作流都使用来自 ComfyUI-KJNodes 的 Patch Sage Attention 节点。如果使用 SageAttention,请安装 KJNodes。否则,在工作流中选中该节点,然后使用 Ctrl+B 绕过它。

4. 重启 ComfyUI

安装节点和权重后,重启 ComfyUI 服务器。使用 Ctrl+F5 重新加载浏览器界面,以便注册新节点。

生成你的第一张图像

1. 打开基础工作流

将克隆仓库中的 workflows/anima_ref_adapter.json 加载到 ComfyUI 中。另一个工作流 workflows/anima_ref_adapter_pag.json 包含 Anima Safe PAG,基础设置正常运行后可以使用它。

2. 加载参考图

选择一张清晰的角色图像,用于迁移你希望保留的身份和风格。Anima Ref Latent 节点会将图像适配到选定的输出尺寸,在必要时添加白色留白,并通过 VAE 对其编码。它还会创建空的目标潜空间,以及适用于多分辨率工作流的半尺寸参考编码。

3. 编写仅描述场景的提示词

使用质量词、角色性别、solo 以及场景标签。不要添加角色名称、艺术家名称或外观描述。通用的提示词结构如下:

masterpiece, best quality, score_7, newest, highres, absurdres, safe, <gender>, solo, <scene>

例如,要将参考角色置于日落海滩上,可以使用:

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, cowboy shot, looking back, smile, beach, ocean, sunset

其他仅场景提示词示例包括:

  • 上半身,坐着,拿着杯子,喝东西,咖啡馆,室内,窗户,阳光
  • 肖像,侧面,眺望远方,樱花,花瓣
  • 全身,站立,雪,森林,冬季
  • 上半身,阅读,拿着书,图书馆,书架

4. 应用推荐设置

对于基础模型,请从以下数值开始:

  • 计算数据类型:通过 ModelComputeDtype 使用 bf16
  • 采样器:Euler
  • 步数:28 至 30
  • 调度器:simple
  • 文本 CFG:4.5
  • 参考引导:4.5 至 6
  • 校正:apg,或使用 phi 为 0.5 的 rescale
  • 参考偏移:将 ref_offset_h 保持为训练时的数值 1.0

请使用 bf16,而不是 fp16。根据项目文档,Anima 在 fp16 下会溢出。

5. 将工作流加入队列

确认模型、VAE、文本编码器、参考图像、适配器权重和提示词均已正确连接。将提示词加入队列以生成目标图像。

了解自定义节点

Anima Ref Adapter Loader

此节点将适配器 LoRA 附加到 Anima MODEL。将 ref_offset_h 保持为 1.0,这是训练时使用的数值。

Anima Ref Latent

此节点准备参考潜变量和目标潜变量。它会调整参考图像尺寸并添加信箱边框,使用 VAE 对其进行编码,创建半尺寸编码,并在选定的输出尺寸下返回一个空潜变量。

Anima Ref Guider

此节点生成供 SamplerCustomAdvanced 使用的 GUIDER。它为文本 cfg 和 ref_guidance 提供独立控制,并支持 APG 或 rescale 校正。它还会运行 PAG 等后 CFG 补丁。

高级调优技巧

平衡身份特征与提示词遵循度

参考引导控制结果对参考图像的遵循程度。数值 1 提供较弱且成本更低的条件控制。4.5 至 6 的数值通常能保留更多角色细节和风格,但提高数值也可能产生更强的饱和度。使用较高引导值时,推荐采用 APG 校正。

按正确顺序使用可选 LoRA

普通 LoRA 应连接在 Anima Ref Adapter Loader之前。图库示例使用了权重约为 0.3 的 Anima context-detailer LoRA,以及权重约为 0.6 的 base-slider LoRA。这些附加项是可选的,并非安装要求。

添加 Anima Safe PAG

如需使用更高级的图,请打开 workflows/anima_ref_adapter_pag.json。图库配置在区块 18 上使用了 Anima Safe PAG,scale 为 1.3,作用区间为 0.2 至 0.9。

谨慎使用 Anima turbo LoRA

Anima turbo LoRA 同样适用于该适配器。请在适配器加载器之前加载它,然后使用 turbo LoRA 的常规步数和 CFG 设置,而不是基础模型的推荐设置。参考适配器本身是在 Anima base v1.0 上训练的。

优先使用单一分辨率采样

Euler、28 至 30 步以及 simple 调度器是推荐的起始设置。README 指出,SamplerSPEED 的半分辨率阶段并不可靠,因为 pilot 适配器并未针对这种渐进式采样设置进行训练。

改进参考输入

请使用能够清晰呈现重要身份特征的参考图像,但要预期生成的姿势和构图会遵循提示词,而不是参考图像。如果配饰或精细图案消失,提高参考引导可能会有所帮助,但该 pilot 模型在小细节方面存在已知限制。

当前限制

  • 角色身份特征的迁移比绘画风格更可靠。
  • 强烈的绘画风格可能难以迁移。
  • 细小图案、疤痕、耳环和不寻常的肤色经常会丢失。
  • 大件服装的颜色可能发生变化。
  • 参考角色偶尔会以场景中物体的形式再次出现。
  • 该适配器仅使用 Anima 生成的图像进行训练,并继承了基础模型的偏差。
  • 此 pilot 版本不支持分别提供角色参考图和风格参考图。

路线图包括分别提供角色图像和风格图像、增加包含三种艺术家风格的 2,000 个新角色的大型数据集、改进绘画风格和精细细节迁移,以及用于渐进式采样器的半分辨率训练对。

许可

ComfyUI 节点代码根据 Apache 2.0 许可证发布。适配器权重是 CircleStone Model 的衍生作品,使用 CircleStone 非商业许可证。在使用生成作品或将适配器集成到项目之前,请查看权重许可证。仓库声明该项目与 CircleStone Labs 没有关系,也未获得其认可。

结语

Anima Reference Adapter 提供了一种实用方法,可将角色置于全新场景中,而无需编写身份、艺术家或外观标签。先从基本工作流程开始,使用 bf16、Euler 采样、CFG 4.5,并将参考引导值设在 4.5 到 6 之间。核心工作流程运行正常后,可添加 APG、Anima Safe PAG 或可选 LoRA,同时确保普通 LoRA 位于适配器加载器之前。