Wan-Animate-2 – 万相团队开源的新一代角色动画模型 运营中

Wan-Animate-2是万相团队开源的新一代角色动画模型，作为 Wan-Animate 的重大架构升级，放弃了对显式姿态骨架和辅助姿态提取网络的依赖，改为端到端的双分支 Diffusion Transformer（DiT），直接从参考视频中捕捉运动先验。模型支持文本驱动的视角控制，提供可达 24 fps 的实时流式变体。

驱动视频转角色动画：输入参考图 reference.png 与驱动模板视频 template.mp4，让参考角色复刻驱动视频中的动作与镜头节奏。
端到端运动迁移：重新设计的 DiT 直接消费驱动视频，不再经过中间运动提取器，目标是同时提升运动保真与身份一致性。
身份/外观保持：通过 reference image token 与 reference video token 参与注意力计算，把参考外观注入生成过程，减少“动作像但脸崩”的情况。
文本规范化控制：推理前先用 LLM 生成固定范式 caption，只写“人物外观描述 + 背景描述”，不描述动作、不推测情绪，再作为 Wan-Animate-2 的 prompt。
文本驱动视角控制：支持用文本把输出相机视角与驱动视频解耦，方便做“同一套动作、不同机位/视角”的生成。
Base 高质量模式：默认推理脚本走常规配置，官方示例 Diffusers 侧为 num_inference_steps=40，更偏质量优先。
Distillation 低步数模式：蒸馏权重示例为 10 steps、guidance_scale=1.0、Euler solver/no CFG，面向更快出片与低延迟验证。
实时化前瞻功能：论文提出 Wan-Animate-2-Lite，用 teacher forcing、error buffer、Self-Forcing 蒸馏与 chunk-wise 反传，把延迟压向实时阈值，面向流式角色动画。
本地与在线体验：提供本地 Gradio 脚本，Base 用 wan_animate_2_gradio.py，蒸馏用 wan_animate_2_gradio_distillation.py；README 也指向 ModelScope Studio 在线 demo。
工程生态入口：权重走 HuggingFace/ModelScope，模型 ID 示例为 Wan-AI/Wan2.2-Animate-2-14B；Diffusers 已可源码安装接入，ComfyUI/DiffSynth-Studio 仍在 Todo。
可配置并行生成：默认按 8×A800、720P 调参，也测过 2×A800、480P；不同硬件需要改 YAML 并行配置。

微信关注回复“开源”，加入AI开源项目交流群
准备硬件：优先按官方默认 8×A800、720P 规划；官方另测过 2×A800、480P，消费级单卡不要默认能跑。
克隆仓库：git clone --recursive https://github.com/Wan-Video/Wan-Animate-2.git。
建环境：Python 3.11；安装 torch 2.7.0 / torchvision 0.22.0 / torchaudio 2.7.0，CUDA 12.6 源；再装 requirements.txt、flash-attn，最后 pip install -e .。
下载权重：HuggingFace 用 huggingface-cli download Wan-AI/Wan2.2-Animate-2-14B --local-dir ./ckpts/；ModelScope 用 modelscope download --model Wan-AI/Wan2.2-Animate-2-14B --local_dir ./ckpts/。
先生成 caption：用 Qwen3.7-Plus 之类 LLM，按官方中文范式只写“人物外观描述 + 背景描述”，不要写动作、情绪或评价。
跑 Base：进入 infer，执行 wan_animate_2_demo.py，传 --prompt、--refer-img-file、--refer-video-file、--config ./wan_animate_2.yaml。
跑蒸馏版：改用 wan_animate_2_distillation.yaml，并加 --sample_guide_scale 1.0 --step 10；Diffusers 侧对应 guidance_scale=1.0、flow_solver="euler"。
改并行配置：GPU 数量/显存与官方不一致时，先改 YAML parallel configs，再排查 OOM 或速度异常。
快速体验：不想部署可先试 ModelScope Studio；本地则运行 wan_animate_2_gradio.py 或 wan_animate_2_gradio_distillation.py。

动作保真与身份一致性是主卖点：去掉中间运动提取器，理论上少一层误差累积。
更贴近生产链路：官方把 caption 前置成固定范式，要求描述人物外观与背景、不描述动作，便于稳定复现。
低延迟路线明确：Distillation 已可跑 10 步推理；Lite 论文口径更是直指实时/流式数字人。
可商用友好度较高：Apache-2.0 对二次开发更友好，但实际商用仍要处理素材版权、肖像权与平台规则。

项目官网：https://humanaigc.github.io/wan-animate-2
Github仓库：https://github.com/Wan-Video/Wan-Animate-2
ModelScope：https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-2-14B
arXiv技术论文：https://arxiv.org/pdf/2608.06009
在线体验Demo：https://www.modelscope.cn/studios/Wan-AI/Wan2.2-Animate

虚拟主播 / 数字人直播：Lite 路线明确指向实时阈值与流式角色动画，适合做“真人驱动虚拟形象”的低延迟直播间。
短视频 / 短剧角色替身：把演员的表演视频作为 driving video，套到角色立绘或参考图上，适合奇幻角色、IP 形象、低成本替身镜头；核心是端到端动作迁移与身份保持。
舞蹈、MV、手势舞二创：用一段舞蹈模板驱动不同角色形象，做多角色翻跳、同框换装或风格化 MV；视角控制还能做“同动作不同机位”的剪辑素材。
电商与品牌内容：让品牌 mascot、虚拟模特按统一模板展示动作，用于上新短片、活动页视频、社媒素材；商用前要处理肖像、服装版权与平台合规。
教育 / 知识博主课件：把讲师形象或卡通讲师驱动成固定动作模板，批量生成开场、转场、知识点提示镜头，降低重复拍摄成本。
游戏 NPC / 过场预演：策划先用真人表演快速驱动角色原型，验证动作节奏、镜头和情绪，再决定是否进入正式动捕与渲染管线。