Tạo nhân vật nhất quán từ một ảnh tham chiếu với Anima Reference Adapter

Anima Reference Adapter là gì?

Anima Reference Adapter là một tập hợp các node ComfyUI tùy chỉnh dùng để tạo ảnh Anima từ một ảnh tham chiếu và prompt chỉ mô tả bối cảnh. Công cụ cố gắng giữ nguyên nhân vật được thể hiện, bao gồm tóc, mắt, quần áo, phụ kiện và một phần phong cách minh họa, đồng thời cho phép prompt kiểm soát tư thế, phông nền, hành động, khung hình và bố cục.

Bạn không cần thêm tên nhân vật, thẻ nghệ sĩ hoặc các thẻ mô tả ngoại hình chi tiết. Điều này khiến adapter hữu ích cho cả nhân vật nguyên bản lẫn nhân vật quen thuộc. Phiên bản hiện tại là bản thử nghiệm được huấn luyện trên 300 nhân vật trong 2,000 bước.

Ví dụ này minh họa quy trình dự kiến: nhận diện hình ảnh đến từ ảnh tham chiếu, trong khi prompt như full body, walking, hands in pockets, city, street, night, rain xác định bối cảnh mới.

Tính năng chính

• Điều kiện hóa bằng một ảnh: Cung cấp một ảnh để chuyển đặc điểm nhận diện nhân vật và một số đặc tính phong cách.
• Prompt chỉ mô tả bối cảnh: Mô tả hành động, tư thế, địa điểm, khung hình và ánh sáng mong muốn thay vì lặp lại ngoại hình nhân vật.
• Điều chỉnh độc lập: Điều chỉnh riêng CFG của văn bản và mức hướng dẫn từ ảnh tham chiếu.
• Hiệu chỉnh APG và rescale: Kiểm soát độ bão hòa quá mức khi sử dụng giá trị hướng dẫn tham chiếu cao.
• Tích hợp ComfyUI: Dự án cung cấp node nạp, node latent tham chiếu và guider tùy chỉnh.
• Hỗ trợ nhân vật nguyên bản: Phương pháp này không phụ thuộc vào tên một nhân vật đã được nhận diện.

Cách Adapter hoạt động

Ảnh tham chiếu được điều chỉnh theo kích thước đầu ra yêu cầu bằng cách thêm vùng đệm trắng hai bên hoặc bên trên, sau đó được mã hóa bởi Qwen-Image VAE. Ảnh trở thành một khung latent sạch thứ hai tại timestep 0, nằm cạnh latent đích có nhiễu.

Tọa độ RoPE của khung tham chiếu được dịch ra ngoài lưới ảnh đích. Điều này hạn chế việc sao chép theo pixel, cho phép tư thế và bố cục được yêu cầu khác với ảnh tham chiếu. Một LoRA rank-32 chứa 45.9 triệu tham số giúp Anima học cách đọc khung bổ sung này. LoRA của adapter chỉ hoạt động khi có ảnh tham chiếu.

Hướng dẫn văn bản và hướng dẫn tham chiếu riêng biệt cho phép bạn cân bằng mức độ tuân thủ prompt với việc chuyển đặc điểm nhận diện và phong cách. Có thể sử dụng adaptive projected guidance, hay APG, để giúp kiểm soát màu sắc khi mức hướng dẫn tham chiếu cao.

Yêu cầu

Trước khi cài đặt các node tùy chỉnh, hãy chuẩn bị một bản cài đặt ComfyUI đang hoạt động và các thành phần mô hình cần thiết cho Anima:

• Anima base v1.0
• Qwen3-0.6B text encoder
• Qwen-Image VAE
• Trọng số thử nghiệm Anima Reference Adapter

Các thành phần Anima có sẵn trong kho Anima của CircleStone Labs. Trọng số adapter có sẵn trong kho Anima Reference Adapter trên Hugging Face.

Cài đặt

1. Cài đặt các node tùy chỉnh

Mở terminal, chuyển đến thư mục custom_nodes của ComfyUI và clone repository:

cd ComfyUI/custom_nodes
git clone https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter.git

2. Tải trọng số adapter

Tải anima_ref_adapter_pilot_r32.safetensors và đặt vào thư mục sau:

ComfyUI/models/loras/anima_ref_adapter_pilot_r32.safetensors

3. Cài đặt hoặc bỏ qua Patch Sage Attention

Cả hai workflow mẫu đi kèm đều sử dụng node Patch Sage Attention từ ComfyUI-KJNodes. Hãy cài đặt KJNodes nếu bạn sử dụng SageAttention. Nếu không, chọn node đó trong workflow và bỏ qua bằng Ctrl+B.

4. Khởi động lại ComfyUI

Khởi động lại máy chủ ComfyUI sau khi cài đặt các node và trọng số. Tải lại giao diện trình duyệt bằng Ctrl+F5 để đăng ký các node mới.

Tạo ảnh đầu tiên

1. Mở workflow cơ bản

Nạp workflows/anima_ref_adapter.json từ repository đã clone vào ComfyUI. Workflow thứ hai, workflows/anima_ref_adapter_pag.json, có thêm Anima Safe PAG và hữu ích sau khi thiết lập cơ bản hoạt động ổn định.

2. Nạp ảnh tham chiếu

Chọn một ảnh rõ nét của nhân vật có nhận diện và phong cách mà bạn muốn chuyển sang ảnh mới. Node Anima Ref Latent điều chỉnh ảnh theo kích thước đầu ra đã chọn, thêm vùng đệm trắng khi cần và mã hóa bằng VAE. Node này cũng tạo latent đích trống và bản mã hóa tham chiếu có kích thước bằng một nửa cho các workflow đa độ phân giải tương thích.

3. Viết prompt chỉ mô tả bối cảnh

Sử dụng các từ khóa chất lượng, giới tính của nhân vật, solo và các thẻ bối cảnh. Không thêm tên nhân vật, tên nghệ sĩ hoặc mô tả ngoại hình. Cấu trúc prompt tổng quát là:

masterpiece, best quality, score_7, newest, highres, absurdres, safe, <gender>, solo, <scene>

Ví dụ, để đặt nhân vật tham chiếu trên bãi biển lúc hoàng hôn, hãy sử dụng:

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, cowboy shot, looking back, smile, beach, ocean, sunset

Một số ý tưởng prompt chỉ mô tả cảnh khác gồm:

• thân trên, ngồi, cầm cốc, đang uống, quán cà phê, trong nhà, cửa sổ, ánh nắng
• chân dung, nhìn từ bên hông, nhìn xa xăm, hoa anh đào, cánh hoa
• toàn thân, đứng, tuyết, rừng, mùa đông
• thân trên, đọc sách, cầm sách, thư viện, giá sách

4. Áp dụng các thiết lập được đề xuất

Đối với model cơ sở, hãy bắt đầu với các giá trị sau:

• Compute dtype: bf16 thông qua ModelComputeDtype
• Sampler: Euler
• Steps: 28 đến 30
• Scheduler: simple
• Text CFG: 4.5
• Reference guidance: từ 4.5 đến 6
• Correction: apg, hoặc rescale với phi 0.5
• Reference offset: Giữ ref_offset_h ở giá trị 1.0 được sử dụng khi huấn luyện

Hãy dùng bf16 thay vì fp16. Theo tài liệu của dự án, Anima bị tràn số khi dùng fp16.

5. Xếp hàng quy trình

Kiểm tra để bảo đảm model, VAE, bộ mã hóa văn bản, ảnh tham chiếu, trọng số adapter và prompt được kết nối chính xác. Xếp prompt vào hàng đợi để tạo ảnh mục tiêu.

Tìm hiểu các Custom Node

Anima Ref Adapter Loader

Node này gắn adapter LoRA vào MODEL Anima. Giữ ref_offset_h ở 1.0, là giá trị được sử dụng khi huấn luyện.

Anima Ref Latent

Node này chuẩn bị latent tham chiếu và mục tiêu. Nó điều chỉnh kích thước và thêm viền letterbox cho ảnh tham chiếu, mã hóa ảnh bằng VAE, tạo bản mã hóa nửa kích thước và trả về một latent trống ở kích thước đầu ra đã chọn.

Anima Ref Guider

Node này tạo GUIDER được SamplerCustomAdvanced sử dụng. Nó cung cấp các điều khiển riêng cho cfg văn bản và ref_guidance, cùng với hiệu chỉnh APG hoặc rescale. Node này cũng chạy các bản vá sau CFG như PAG.

Mẹo tinh chỉnh nâng cao

Cân bằng nhận diện và mức độ tuân thủ prompt

Reference guidance kiểm soát mức độ kết quả bám theo ảnh tham chiếu. Giá trị 1 cung cấp điều kiện hóa yếu và ít tốn tài nguyên hơn. Các giá trị từ 4.5 đến 6 thường giữ lại nhiều chi tiết nhân vật và phong cách hơn, nhưng tăng giá trị cũng có thể tạo ra độ bão hòa mạnh hơn. APG là hiệu chỉnh được khuyến nghị khi sử dụng guidance cao hơn.

Sử dụng LoRA tùy chọn theo đúng thứ tự

Các LoRA thông thường nên được kết nối trước Anima Ref Adapter Loader. Các ví dụ trong thư viện đã sử dụng LoRA Anima context-detailer ở khoảng 0.3 và LoRA base-slider ở khoảng 0.6. Những phần bổ sung này là tùy chọn, không phải yêu cầu cài đặt.

Thêm Anima Safe PAG

Để tạo graph nâng cao hơn, hãy mở workflows/anima_ref_adapter_pag.json. Cấu hình trong thư viện đã sử dụng Anima Safe PAG trên block 18, với scale 1.3 trong khoảng từ 0.2 đến 0.9.

Sử dụng Anima turbo LoRA cẩn thận

Anima turbo LoRA cũng hoạt động với adapter. Hãy tải nó trước adapter loader, sau đó sử dụng thiết lập step và CFG thông thường của turbo LoRA thay vì các đề xuất dành cho model cơ sở. Bản thân reference adapter được huấn luyện trên Anima base v1.0.

Ưu tiên lấy mẫu ở một độ phân giải

Euler với 28 đến 30 step và scheduler simple là điểm khởi đầu được khuyến nghị. README cho biết giai đoạn nửa độ phân giải của SamplerSPEED không đáng tin cậy vì pilot adapter chưa được huấn luyện cho thiết lập lấy mẫu tiến triển đó.

Cải thiện ảnh tham chiếu

Hãy sử dụng ảnh tham chiếu trong đó các đặc điểm nhận diện quan trọng được thể hiện rõ, nhưng cần dự kiến tư thế và bố cục được tạo sẽ tuân theo prompt thay vì ảnh tham chiếu. Nếu phụ kiện hoặc họa tiết nhỏ biến mất, tăng reference guidance có thể hữu ích, dù pilot model có những giới hạn đã biết đối với các chi tiết nhỏ.

Những hạn chế hiện tại

• Nhận diện nhân vật được chuyển giao đáng tin cậy hơn phong cách vẽ.
• Những phong cách mang tính hội họa mạnh có thể được chuyển giao kém.
• Các họa tiết nhỏ, sẹo, bông tai và tông da khác thường thường bị mất.
• Trang phục lớn có thể đổi màu.
• Nhân vật được tham chiếu đôi khi có thể xuất hiện lại dưới dạng một vật thể trong cảnh.
• Adapter chỉ được huấn luyện trên các ảnh do Anima tạo ra và kế thừa các thiên lệch của model cơ sở.
• Bản phát hành thử nghiệm này chưa hỗ trợ tham chiếu riêng cho nhân vật và phong cách.

Lộ trình bao gồm ảnh riêng cho nhân vật và phong cách, một bộ dữ liệu lớn hơn với 2.000 nhân vật mới trong ba phong cách nghệ sĩ, khả năng chuyển giao phong cách hội họa và chi tiết nhỏ tốt hơn, cùng các cặp huấn luyện nửa độ phân giải cho sampler tiến triển.

Cấp phép

Mã node ComfyUI được phân phối theo giấy phép Apache 2.0. Trọng số adapter là sản phẩm phái sinh của CircleStone Model và sử dụng CircleStone Non-Commercial License. Hãy xem xét giấy phép trọng số trước khi sử dụng sản phẩm được tạo ra hoặc tích hợp adapter vào một dự án. Kho lưu trữ nêu rõ dự án không liên kết với và không được CircleStone Labs chứng thực.

Kết luận

Anima Reference Adapter cung cấp một cách thực tế để đưa nhân vật vào các bối cảnh mới mà không cần viết thẻ nhận dạng, nghệ sĩ hoặc diện mạo. Bắt đầu với quy trình cơ bản, sử dụng bf16, phương pháp lấy mẫu Euler, CFG 4.5 và mức hướng dẫn tham chiếu từ 4.5 đến 6. Khi quy trình cốt lõi hoạt động ổn định, hãy thêm APG, Anima Safe PAG hoặc các LoRA tùy chọn, đồng thời giữ các LoRA thông thường nằm trước trình tải adapter.