Wan-Animate-2 – Mô hình hoạt ảnh nhân vật thế hệ mới do đội ngũ Wanxiang mã nguồn mở Đang hoạt động

Wan-Animate-2 là mô hình hoạt ảnh nhân vật thế hệ mới do đội ngũ Wanxiang mã nguồn mở. Là một nâng cấp kiến trúc lớn của Wan-Animate, mô hình loại bỏ sự phụ thuộc vào khung xương tư thế tường minh và mạng trích xuất tư thế hỗ trợ, thay bằng Diffusion Transformer (DiT) hai nhánh đầu cuối để trực tiếp nắm bắt prior chuyển động từ video tham chiếu. Mô hình hỗ trợ điều khiển góc nhìn bằng văn bản và cung cấp biến thể streaming theo thời gian thực với tốc độ lên đến 24 fps.

Chuyển video điều khiển thành hoạt ảnh nhân vật: Nhập ảnh tham chiếu reference.png và video mẫu điều khiển template.mp4 để nhân vật tham chiếu tái hiện chuyển động và nhịp điệu máy quay trong video điều khiển.
Chuyển động đầu cuối: DiT được thiết kế lại trực tiếp tiếp nhận video điều khiển, không còn đi qua bộ trích xuất chuyển động trung gian, nhằm đồng thời nâng cao độ trung thực của chuyển động và tính nhất quán nhận dạng.
Duy trì nhận dạng/ngoại hình: reference image token và reference video token tham gia vào quá trình tính attention, đưa ngoại hình tham chiếu vào quá trình tạo, giảm tình trạng “động tác giống nhưng khuôn mặt bị biến dạng”.
Điều khiển chuẩn hóa bằng văn bản: Trước khi suy luận, dùng LLM tạo caption theo mẫu cố định, chỉ viết “mô tả ngoại hình nhân vật + mô tả bối cảnh”, không mô tả chuyển động và không suy đoán cảm xúc, sau đó dùng làm prompt cho Wan-Animate-2.
Điều khiển góc nhìn bằng văn bản: Cho phép dùng văn bản để tách góc nhìn máy quay đầu ra khỏi video điều khiển, thuận tiện tạo “cùng một bộ động tác, khác vị trí/góc máy”.
Chế độ Base chất lượng cao: Script suy luận mặc định sử dụng cấu hình thông thường; ví dụ Diffusers chính thức dùng num_inference_steps=40, ưu tiên chất lượng.
Chế độ Distillation ít bước: Ví dụ trọng số chưng cất dùng 10 steps, guidance_scale=1.0, Euler solver/không CFG, hướng đến tạo video nhanh hơn và kiểm thử độ trễ thấp.
Định hướng thời gian thực: Bài báo đề xuất Wan-Animate-2-Lite, sử dụng teacher forcing, error buffer, chưng cất Self-Forcing và lan truyền ngược theo chunk để đưa độ trễ đến gần ngưỡng thời gian thực, hướng đến hoạt ảnh nhân vật dạng streaming.
Trải nghiệm cục bộ và trực tuyến: Cung cấp script Gradio cục bộ, Base dùng wan_animate_2_gradio.py, bản chưng cất dùng wan_animate_2_gradio_distillation.py; README cũng trỏ đến demo trực tuyến ModelScope Studio.
Hệ sinh thái kỹ thuật: Trọng số được cung cấp trên HuggingFace/ModelScope, ID mô hình ví dụ là Wan-AI/Wan2.2-Animate-2-14B; Diffusers có thể được cài từ mã nguồn để tích hợp, còn ComfyUI/DiffSynth-Studio vẫn nằm trong Todo.
Tạo song song có thể cấu hình: Cấu hình mặc định được tinh chỉnh theo 8×A800, 720P, đồng thời đã thử nghiệm với 2×A800, 480P; phần cứng khác cần sửa cấu hình song song trong YAML.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Chuẩn bị phần cứng: Ưu tiên lập kế hoạch theo cấu hình mặc định chính thức 8×A800, 720P; cấu hình 2×A800, 480P cũng đã được thử nghiệm, không nên mặc định cho rằng một GPU phổ thông có thể chạy.
Clone repository: git clone --recursive https://github.com/Wan-Video/Wan-Animate-2.git.
Tạo môi trường: Python 3.11; cài torch 2.7.0 / torchvision 0.22.0 / torchaudio 2.7.0, sử dụng nguồn CUDA 12.6; sau đó cài requirements.txt, flash-attn và cuối cùng chạy pip install -e .
Tải trọng số: Với HuggingFace, dùng huggingface-cli download Wan-AI/Wan2.2-Animate-2-14B --local-dir ./ckpts/; với ModelScope, dùng modelscope download --model Wan-AI/Wan2.2-Animate-2-14B --local_dir ./ckpts/.
Tạo caption trước: Dùng LLM như Qwen3.7-Plus, theo mẫu tiếng Trung chính thức chỉ viết “mô tả ngoại hình nhân vật + mô tả bối cảnh”, không viết chuyển động, cảm xúc hoặc đánh giá.
Chạy Base: Vào thư mục infer, thực thi wan_animate_2_demo.py và truyền --prompt, --refer-img-file, --refer-video-file, --config ./wan_animate_2.yaml.
Chạy bản chưng cất: Chuyển sang wan_animate_2_distillation.yaml và thêm --sample_guide_scale 1.0 --step 10; phía Diffusers tương ứng với guidance_scale=1.0, flow_solver="euler".
Sửa cấu hình song song: Khi số lượng GPU/bộ nhớ GPU khác với cấu hình chính thức, trước tiên sửa parallel configs trong YAML, sau đó kiểm tra lỗi OOM hoặc tốc độ bất thường.
Trải nghiệm nhanh: Nếu không muốn triển khai, có thể thử ModelScope Studio trước; ở local, chạy wan_animate_2_gradio.py hoặc wan_animate_2_gradio_distillation.py.

Độ trung thực của chuyển động và tính nhất quán nhận dạng là điểm mạnh chính: Loại bỏ bộ trích xuất chuyển động trung gian, về lý thuyết giảm một tầng tích lũy sai số.
Gần hơn với quy trình sản xuất: Đội ngũ phát triển đưa caption cố định lên trước, yêu cầu mô tả ngoại hình nhân vật và bối cảnh, không mô tả chuyển động, giúp tái tạo ổn định.
Lộ trình giảm độ trễ rõ ràng: Distillation đã hỗ trợ suy luận 10 bước; theo bài báo, Lite còn hướng trực tiếp đến nhân vật số thời gian thực/streaming.
Thân thiện hơn với mục đích thương mại: Apache-2.0 thuận lợi hơn cho phát triển thứ cấp, nhưng khi thương mại hóa thực tế vẫn cần xử lý bản quyền tài liệu, quyền hình ảnh và quy định nền tảng.

Trang web dự án: https://humanaigc.github.io/wan-animate-2
Repository Github: https://github.com/Wan-Video/Wan-Animate-2
ModelScope: https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-2-14B
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2608.06009
Demo trải nghiệm trực tuyến: https://www.modelscope.cn/studios/Wan-AI/Wan2.2-Animate

Streamer ảo / livestream nhân vật số: Lộ trình Lite hướng rõ đến ngưỡng thời gian thực và hoạt ảnh nhân vật dạng streaming, phù hợp với phòng livestream có hình tượng ảo được điều khiển bởi người thật với độ trễ thấp.
Nhân vật thay thế trong video ngắn / phim ngắn: Dùng video biểu diễn của diễn viên làm driving video, áp dụng lên tranh nhân vật hoặc ảnh tham chiếu, phù hợp với nhân vật kỳ ảo, hình tượng IP và cảnh thay thế chi phí thấp; cốt lõi là chuyển động đầu cuối và duy trì nhận dạng.
Biên đạo, MV, video vũ đạo tay và nội dung phái sinh: Dùng một mẫu vũ đạo để điều khiển nhiều hình tượng nhân vật, tạo video nhiều nhân vật nhảy lại, thay trang phục cùng khung hình hoặc MV phong cách hóa; điều khiển góc nhìn còn có thể tạo tư liệu dựng “cùng động tác, khác vị trí máy quay”.
Nội dung thương mại điện tử và thương hiệu: Cho mascot thương hiệu hoặc người mẫu ảo thực hiện động tác theo mẫu thống nhất, dùng cho video giới thiệu sản phẩm mới, video trang sự kiện và nội dung mạng xã hội; trước khi thương mại hóa cần xử lý quyền hình ảnh, bản quyền trang phục và yêu cầu tuân thủ nền tảng.
Giáo dục / bài giảng của blogger kiến thức: Điều khiển hình tượng giảng viên hoặc giảng viên hoạt hình theo các mẫu động tác cố định, tạo hàng loạt cảnh mở đầu, chuyển cảnh và nhắc điểm kiến thức, giảm chi phí quay lại nhiều lần.
NPC game / tiền kỳ cảnh chuyển tiếp: Đội ngũ thiết kế có thể dùng biểu diễn của người thật để nhanh chóng điều khiển nguyên mẫu nhân vật, kiểm tra nhịp điệu chuyển động, máy quay và cảm xúc trước khi quyết định đưa vào quy trình bắt chuyển động và kết xuất chính thức.