Anima Reference Adapter란?
Anima Reference Adapter는 참조 이미지 한 장과 장면만 설명하는 프롬프트를 사용해 Anima 이미지를 생성하는 커스텀 ComfyUI 노드 모음입니다. 머리카락, 눈, 의상, 액세서리, 일부 드로잉 스타일을 포함해 묘사된 인물을 유지하면서, 프롬프트로 포즈, 배경, 동작, 구도, 구성을 제어할 수 있도록 설계되었습니다.
캐릭터 이름, 아티스트 태그 또는 상세한 외형 태그를 포함할 필요가 없습니다. 따라서 이 어댑터는 오리지널 캐릭터와 알려진 캐릭터 모두에 유용합니다. 현재 버전은 300개 캐릭터를 대상으로 2,000스텝 학습한 파일럿 릴리스입니다.
이 예시는 의도된 워크플로를 보여 줍니다. 시각적 정체성은 참조 이미지에서 가져오고, full body, walking, hands in pockets, city, street, night, rain과 같은 프롬프트가 새로운 장면을 정의합니다.
주요 기능
- 단일 이미지 조건부 생성: 이미지 한 장을 입력해 캐릭터의 정체성과 일부 스타일 특성을 전이합니다.
- 장면만 프롬프트에 입력: 캐릭터의 외형을 반복해서 설명하는 대신 원하는 동작, 포즈, 장소, 구도, 조명을 설명합니다.
- 독립적인 가이던스: 텍스트 CFG와 참조 가이던스를 별도로 조정합니다.
- APG 및 리스케일 보정: 참조 가이던스 값이 높을 때 과도한 채도를 제어합니다.
- ComfyUI 통합: 로더, 참조 잠재 벡터 노드, 커스텀 가이더를 제공합니다.
- 오리지널 캐릭터 지원: 인식 가능한 캐릭터 이름에 의존하지 않습니다.
어댑터 작동 방식
참조 이미지는 요청된 출력 크기에 맞춰 흰색 레터박스를 추가하고 Qwen-Image VAE로 인코딩합니다. 이렇게 생성된 이미지는 타임스텝 0에서 노이즈가 있는 대상 잠재 벡터 옆에 배치되는 두 번째 정제 잠재 프레임이 됩니다.
참조 프레임의 RoPE 좌표는 대상 이미지 그리드 너머로 이동합니다. 이를 통해 픽셀 정렬 복사를 억제하고, 요청된 포즈와 구도가 참조 이미지와 달라질 수 있게 합니다. 4,590만 개의 파라미터를 포함한 rank-32 LoRA가 Anima에 이 추가 프레임을 읽는 방법을 학습시킵니다. 어댑터 LoRA는 참조 이미지가 있을 때만 활성화됩니다.
텍스트 가이던스와 참조 가이던스를 별도로 조정해 프롬프트 반영 정도와 정체성 및 스타일 전이 사이의 균형을 맞출 수 있습니다. 적응형 투영 가이던스(Adaptive Projected Guidance, APG)를 사용하면 참조 가이던스가 높을 때 색상을 안정적으로 유지하는 데 도움이 됩니다.
요구 사항
커스텀 노드를 설치하기 전에 작동하는 ComfyUI 설치 환경과 Anima에 필요한 모델 구성 요소를 준비하세요.
- Anima base v1.0
- Qwen3-0.6B 텍스트 인코더
- Qwen-Image VAE
- Anima Reference Adapter 파일럿 가중치
Anima 구성 요소는 CircleStone Labs Anima 저장소에서 받을 수 있습니다. 어댑터 가중치는 Hugging Face의 Anima Reference Adapter 저장소에서 받을 수 있습니다.
설치
1. 커스텀 노드 설치
터미널을 열고 ComfyUI의 custom_nodes 디렉터리로 이동한 다음 저장소를 복제합니다.
cd ComfyUI/custom_nodes
git clone https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter.git2. 어댑터 가중치 다운로드
anima_ref_adapter_pilot_r32.safetensors를 다운로드해 다음 디렉터리에 넣습니다.
ComfyUI/models/loras/anima_ref_adapter_pilot_r32.safetensors3. Patch Sage Attention 설치 또는 우회
포함된 두 가지 예제 워크플로는 ComfyUI-KJNodes의 Patch Sage Attention 노드를 사용합니다. SageAttention을 사용한다면 KJNodes를 설치하세요. 그렇지 않다면 워크플로에서 해당 노드를 선택하고 Ctrl+B로 우회합니다.
4. ComfyUI 재시작
노드와 가중치를 설치한 후 ComfyUI 서버를 재시작합니다. 새 노드를 등록하려면 Ctrl+F5로 브라우저 인터페이스를 새로 고침하세요.
첫 이미지 생성하기
1. 기본 워크플로 열기
복제한 저장소의 workflows/anima_ref_adapter.json을 ComfyUI에 불러옵니다. 두 번째 워크플로인 workflows/anima_ref_adapter_pag.json에는 Anima Safe PAG가 포함되어 있으며, 기본 설정이 작동한 후 사용하기 좋습니다.
2. 참조 이미지 불러오기
전이하려는 캐릭터의 정체성과 스타일이 잘 드러나는 선명한 이미지를 선택합니다. Anima Ref Latent 노드는 이미지를 선택한 출력 크기에 맞추고, 필요한 경우 흰색 레터박스를 추가한 뒤 VAE로 인코딩합니다. 또한 빈 대상 잠재 벡터와 호환되는 다중 해상도 워크플로를 위한 절반 크기의 참조 인코딩도 생성합니다.
3. 장면만 설명하는 프롬프트 작성
품질 관련 용어, 캐릭터의 성별, solo, 장면 태그를 사용합니다. 캐릭터 이름, 아티스트 이름 또는 외형 설명은 추가하지 마세요. 일반적인 프롬프트 구조는 다음과 같습니다.
masterpiece, best quality, score_7, newest, highres, absurdres, safe, <gender>, solo, <scene>예를 들어 참조 캐릭터를 일몰의 해변에 배치하려면 다음을 사용합니다.
masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, cowboy shot, looking back, smile, beach, ocean, sunset장면만 포함된 다른 프롬프트 아이디어는 다음과 같습니다:
상반신, 앉아 있음, 컵을 들고 있음, 마시는 중, 카페, 실내, 창문, 햇빛초상화, 측면에서 본 모습, 먼 곳을 바라봄, 벚꽃, 꽃잎전신, 서 있음, 눈, 숲, 겨울상반신, 독서 중, 책을 들고 있음, 도서관, 책장
4. 권장 설정 적용
기본 모델은 다음 값으로 시작하세요:
- Compute dtype:
ModelComputeDtype를 통한bf16 - Sampler: Euler
- Steps: 28~30
- Scheduler:
simple - Text CFG:
4.5 - Reference guidance:
4.5~6 - Correction:
apg, 또는 phi0.5를 사용하는rescale - Reference offset:
ref_offset_h를 학습 시 사용된 값인1.0으로 유지
fp16대신bf16을 사용하세요. 프로젝트 문서에 따르면 Anima는 fp16에서 오버플로가 발생합니다.
5. 워크플로 대기열에 추가
모델, VAE, 텍스트 인코더, 참조 이미지, 어댑터 가중치, 프롬프트가 올바르게 연결되었는지 확인하세요. 프롬프트를 대기열에 추가해 대상 이미지를 생성합니다.
커스텀 노드 이해하기
Anima Ref Adapter Loader
이 노드는 어댑터 LoRA를 Anima MODEL에 연결합니다. 학습 중 사용된 값인 1.0으로 ref_offset_h를 유지하세요.
Anima Ref Latent
이 노드는 참조 잠재 표현과 대상 잠재 표현을 준비합니다. 참조 이미지를 맞추고 레터박스를 적용한 뒤 VAE로 인코딩하고, 절반 크기의 인코딩을 생성하며, 선택한 출력 크기의 빈 잠재 표현을 반환합니다.
Anima Ref Guider
이 노드는 SamplerCustomAdvanced에서 사용하는 GUIDER를 생성합니다. 텍스트 cfg와 ref_guidance를 별도로 제어하고 APG 또는 rescale 보정을 적용할 수 있습니다. 또한 PAG와 같은 CFG 후처리 패치도 실행합니다.
고급 튜닝 팁
정체성과 프롬프트 반영의 균형 맞추기
참조 가이던스는 결과가 참조 이미지를 얼마나 강하게 따를지 제어합니다. 1은 약하고 비용이 낮은 조건을 제공합니다. 일반적으로 4.5~6의 값은 캐릭터의 세부 묘사와 스타일을 더 잘 유지하지만, 값을 높이면 채도가 더 강해질 수도 있습니다. 높은 가이던스를 사용할 때는 APG 보정을 권장합니다.
선택적 LoRA를 올바른 순서로 사용하기
일반 LoRA는 Anima Ref Adapter Loader 앞에 연결해야 합니다. 갤러리 예제에서는 Anima context-detailer LoRA를 약 0.3, base-slider LoRA를 약 0.6으로 사용했습니다. 이러한 추가 요소는 선택 사항이며 설치에 필요한 요구 사항은 아닙니다.
Anima Safe PAG 추가
더 고급 그래프를 사용하려면 workflows/anima_ref_adapter_pag.json을 여세요. 갤러리 설정에서는 블록 18에 Anima Safe PAG를 사용하고, 0.2~0.9 구간에 scale 1.3을 적용했습니다.
Anima turbo LoRA는 신중하게 사용하기
Anima turbo LoRA도 어댑터와 함께 사용할 수 있습니다. 어댑터 로더 앞에 로드한 다음, 기본 모델 권장값이 아니라 turbo LoRA의 일반적인 step 및 CFG 설정을 사용하세요. 참조 어댑터 자체는 Anima base v1.0으로 학습되었습니다.
단일 해상도 샘플링 우선 사용
28~30 steps의 Euler와 simple scheduler가 권장되는 시작점입니다. README에 따르면 파일럿 어댑터가 이러한 점진적 샘플링 설정으로 학습되지 않았기 때문에 SamplerSPEED의 절반 해상도 단계는 신뢰성이 낮습니다.
참조 입력 개선
중요한 정체성 특징이 보이는 참조 이미지를 사용하되, 생성되는 포즈와 구도는 참조 이미지보다 프롬프트를 따를 것으로 예상하세요. 액세서리나 세밀한 패턴이 사라지는 경우 참조 가이던스를 높이면 도움이 될 수 있지만, 파일럿 모델은 작은 세부 묘사에 알려진 한계가 있습니다.
현재 제한 사항
- 캐릭터의 정체성은 드로잉 스타일보다 더 안정적으로 전이됩니다.
- 회화적인 스타일은 제대로 전이되지 않을 수 있습니다.
- 작은 패턴, 흉터, 귀걸이, 특이한 피부색은 자주 사라집니다.
- 큰 의상은 색상이 바뀔 수 있습니다.
- 참조한 캐릭터가 장면 속 사물로 다시 나타나는 경우가 있습니다.
- 어댑터는 Anima로 생성된 이미지만 사용해 학습되었으며 기본 모델의 편향을 그대로 가집니다.
- 이 파일럿 릴리스에서는 캐릭터 참조와 스타일 참조를 분리해 사용할 수 없습니다.
로드맵에는 캐릭터 이미지와 스타일 이미지의 분리, 세 가지 아티스트 스타일로 구성된 신규 캐릭터 2,000명의 대규모 데이터셋, 회화적 스타일과 세부 묘사 전이 개선, 점진적 샘플러를 위한 절반 해상도 학습 쌍이 포함되어 있습니다.
라이선스
ComfyUI 노드 코드는 Apache 2.0 라이선스로 배포됩니다. 어댑터 가중치는 CircleStone Model의 파생물이며 CircleStone Non-Commercial License를 사용합니다. 생성된 작업물을 사용하거나 어댑터를 프로젝트에 통합하기 전에 가중치 라이선스를 검토하세요. 저장소에는 이 프로젝트가 CircleStone Labs와 제휴하거나 해당 회사의 승인을 받은 것이 아니라고 명시되어 있습니다.
결론
Anima Reference Adapter는 정체성, 아티스트 또는 외형 태그를 작성하지 않고도 캐릭터를 새로운 장면으로 옮길 수 있는 실용적인 방법을 제공합니다. 기본 워크플로부터 시작하고, bf16, Euler 샘플링, CFG 4.5, 4.5에서 6 사이의 레퍼런스 가이던스를 사용하세요. 핵심 워크플로가 작동하면 일반 LoRA를 어댑터 로더보다 앞에 유지하면서 APG, Anima Safe PAG 또는 선택적 LoRA를 추가하세요.