Wan-Animate-2 – Muundo wa kizazi kipya wa uhuishaji wa wahusika uliowaziwa na timu ya Wanxiang Inafanya kazi

Wan-Animate-2 ni muundo wa kizazi kipya wa uhuishaji wa wahusika uliowaziwa na timu ya Wanxiang. Ukiwa uboreshaji mkubwa wa usanifu wa Wan-Animate, umeacha kutegemea mifupa ya mkao iliyoainishwa wazi na mitandao saidizi ya uchimbaji wa mkao, na badala yake unatumia Diffusion Transformer (DiT) ya matawi mawili ya mwisho hadi mwisho kunasa moja kwa moja maarifa ya mwendo kutoka video ya marejeo. Muundo huu unaunga mkono udhibiti wa mtazamo unaoendeshwa na maandishi na unatoa toleo la utiririshaji wa wakati halisi lenye hadi 24 fps.

Kubadilisha video ya kuendesha kuwa uhuishaji wa mhusika: Ingiza picha ya marejeo reference.png na video ya kiolezo cha kuendesha template.mp4 ili mhusika wa marejeo aige vitendo na mdundo wa kamera wa video ya kuendesha.
Uhamishaji wa mwendo wa mwisho hadi mwisho: DiT iliyoundwa upya hutumia video ya kuendesha moja kwa moja bila kupitia kichimbaji cha mwendo cha kati, kwa lengo la kuboresha kwa pamoja uaminifu wa mwendo na uthabiti wa utambulisho.
Kuhifadhi utambulisho/mwonekano: Tokeni ya picha ya marejeo na tokeni ya video ya marejeo hushiriki katika hesabu za umakini, na kuingiza mwonekano wa marejeo kwenye mchakato wa uzalishaji ili kupunguza hali ya “mwendo unafanana lakini uso umeharibika”.
Udhibiti wa kawaida wa maandishi: Kabla ya uelekezaji, tumia LLM kutengeneza maelezo ya caption yenye muundo maalum; andika tu “maelezo ya mwonekano wa mhusika + maelezo ya mandhari”, bila kueleza vitendo au kukisia hisia, kisha itumie kama prompt ya Wan-Animate-2.
Udhibiti wa mtazamo unaoendeshwa na maandishi: Tumia maandishi kutenganisha mtazamo wa kamera ya matokeo na video ya kuendesha, jambo linalowezesha kutengeneza “seti ileile ya vitendo, lakini kwa nafasi/pembe tofauti za kamera”.
Njia ya Base yenye ubora wa juu: Hati chaguo-msingi ya uelekezaji hutumia usanidi wa kawaida; mfano rasmi wa Diffusers hutumia num_inference_steps=40, ukiweka kipaumbele kwenye ubora.
Njia ya Distillation yenye hatua chache: Mfano wa uzani uliotakaswa hutumia hatua 10, guidance_scale=1.0, Euler solver/no CFG, kwa uzalishaji wa haraka na majaribio yenye ucheleweshaji mdogo.
Kipengele cha kutazama uendeshaji wa wakati halisi: Karatasi ya utafiti inapendekeza Wan-Animate-2-Lite, inayotumia teacher forcing, error buffer, Self-Forcing distillation na uenezaji wa nyuma wa chunk-wise kusogeza ucheleweshaji karibu na kiwango cha wakati halisi kwa uhuishaji wa wahusika unaotiririshwa.
Matumizi ya ndani na mtandaoni: Inatoa hati ya ndani ya Gradio; Base hutumia wan_animate_2_gradio.py, huku toleo lililotakaswa likitumia wan_animate_2_gradio_distillation.py. README pia inaelekeza kwenye demo ya mtandaoni ya ModelScope Studio.
Mianya ya ikolojia ya uhandisi: Uzani hupatikana kupitia HuggingFace/ModelScope; mfano wa kitambulisho cha modeli ni Wan-AI/Wan2.2-Animate-2-14B. Diffusers inaweza kusakinishwa kutoka kwenye msimbo na kuunganishwa, huku ComfyUI/DiffSynth-Studio bado zikiwa Todo.
Uzalishaji sambamba unaoweza kusanidiwa: Chaguo-msingi limetengenezwa kwa 8×A800 na 720P, na pia limejaribiwa kwa 2×A800 na 480P; vifaa tofauti vinahitaji kubadilisha usanidi wa ulinganifu wa YAML.

Fuata akaunti ya WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria.
Andaa vifaa: Panga kwanza kwa 8×A800 na 720P kama ilivyo kwenye chaguo-msingi rasmi; 2×A800 na 480P pia zimejaribiwa rasmi, hivyo usichukulie kuwa kadi moja ya kiwango cha watumiaji itaweza kuendesha modeli hii.
Nakili hazina: git clone --recursive https://github.com/Wan-Video/Wan-Animate-2.git.
Unda mazingira: Python 3.11; sakinisha torch 2.7.0 / torchvision 0.22.0 / torchaudio 2.7.0 kutoka chanzo cha CUDA 12.6; kisha sakinisha requirements.txt na flash-attn, na mwishowe pip install -e ..
Pakua uzani: Kwa HuggingFace tumia huggingface-cli download Wan-AI/Wan2.2-Animate-2-14B --local-dir ./ckpts/; kwa ModelScope tumia modelscope download --model Wan-AI/Wan2.2-Animate-2-14B --local_dir ./ckpts/.
Tengeneza caption kwanza: Tumia LLM kama Qwen3.7-Plus, na kwa kufuata muundo rasmi wa Kichina andika tu “maelezo ya mwonekano wa mhusika + maelezo ya mandhari”; usiandike vitendo, hisia au tathmini.
Endesha Base: Ingia kwenye infer, kisha endesha wan_animate_2_demo.py na upitishe --prompt, --refer-img-file, --refer-video-file, --config ./wan_animate_2.yaml.
Endesha toleo lililotakaswa: Tumia wan_animate_2_distillation.yaml badala yake, na uongeze --sample_guide_scale 1.0 --step 10; upande wa Diffusers unaolingana ni guidance_scale=1.0 na flow_solver="euler".
Badilisha usanidi wa ulinganifu: Idadi ya GPU au kumbukumbu yake ikitofautiana na usanidi rasmi, badilisha kwanza parallel configs kwenye YAML, kisha chunguza OOM au kasi isiyo ya kawaida.
Jaribio la haraka: Ikiwa hutaki kusakinisha mfumo, jaribu kwanza ModelScope Studio; kwa matumizi ya ndani, endesha wan_animate_2_gradio.py au wan_animate_2_gradio_distillation.py.

Uaminifu wa mwendo na uthabiti wa utambulisho ndio faida kuu: Kuondoa kichimbaji cha mwendo cha kati kunaweza, kinadharia, kupunguza mkusanyiko wa makosa wa hatua moja.
Inakaribia zaidi mchakato wa uzalishaji: Rasmi imeweka caption kuwa muundo maalum wa awali, unaohitaji maelezo ya mwonekano wa mhusika na mandhari bila kueleza vitendo, jambo linalorahisisha kutoa matokeo thabiti.
Njia ya ucheleweshaji mdogo iko wazi: Distillation tayari inaweza kuendesha uelekezaji wa hatua 10; karatasi ya Lite inalenga moja kwa moja binadamu wa kidijitali wa wakati halisi na unaotiririshwa.
Inafaa kibiashara kwa kiwango kizuri: Apache-2.0 ni rafiki zaidi kwa uundaji wa kazi za ziada, lakini matumizi ya kibiashara bado yanahitaji kushughulikia hakimiliki za nyenzo, haki za picha na kanuni za majukwaa.

Tovuti rasmi ya mradi: https://humanaigc.github.io/wan-animate-2
Hazina ya Github: https://github.com/Wan-Video/Wan-Animate-2
ModelScope: https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-2-14B
Karatasi ya kiufundi ya arXiv: https://arxiv.org/pdf/2608.06009
Demo ya mtandaoni: https://www.modelscope.cn/studios/Wan-AI/Wan2.2-Animate

Watangazaji pepe / matangazo ya moja kwa moja ya binadamu wa kidijitali: Njia ya Lite inalenga wazi kiwango cha wakati halisi na uhuishaji wa wahusika unaotiririshwa, hivyo inafaa kwa vyumba vya matangazo ya moja kwa moja vyenye ucheleweshaji mdogo ambapo mhusika pepe anaendeshwa na mtu halisi.
Mbadala wa wahusika wa video fupi / tamthilia fupi: Tumia video ya uigizaji wa mwigizaji kama driving video, kisha uitumie kwa mchoro wa mhusika au picha ya marejeo; inafaa kwa wahusika wa kifantasia, taswira za IP na picha mbadala za gharama nafuu. Msingi wake ni uhamishaji wa mwendo wa mwisho hadi mwisho na uhifadhi wa utambulisho.
Ngoma, MV na uundaji upya wa dansi za mikono: Tumia kiolezo cha ngoma kuendesha taswira za wahusika tofauti, na kutengeneza ngoma za wahusika wengi, kubadilisha mavazi kwenye fremu moja au MV zenye mitindo mbalimbali; udhibiti wa mtazamo pia unaweza kutengeneza nyenzo za kuhariri za “mwendo uleule, lakini kwa nafasi tofauti za kamera”.
Maudhui ya biashara ya mtandaoni na chapa: Fanya mascot ya chapa au modeli pepe ionyeshe vitendo kwa kufuata kiolezo kimoja, kwa ajili ya video za bidhaa mpya, kurasa za kampeni na nyenzo za mitandao ya kijamii; kabla ya matumizi ya kibiashara, shughulikia haki za picha, hakimiliki za mavazi na uzingatiaji wa kanuni za jukwaa.
Mafunzo / nyenzo za wanablogu wa maarifa: Endesha taswira ya mhadhiri au mhadhiri wa katuni kwa kutumia kiolezo cha vitendo kilichowekwa, kisha tengeneza kwa wingi video za utangulizi, mpito na vidokezo vya maarifa, na kupunguza gharama ya kurekodi mara kwa mara.
NPC za michezo / maandalizi ya matukio ya mpito: Wabunifu wanaweza kwanza kutumia uigizaji wa mtu halisi kuendesha haraka mfano wa mhusika, kuthibitisha mdundo wa vitendo, kamera na hisia, kisha kuamua kama kuingiza kazi hiyo kwenye mchakato rasmi wa motion capture na uonyeshaji.