Wan-Animate-2 – Wanxiang jamoasi tomonidan ochiq manbada taqdim etilgan yangi avlod personaj animatsiyasi modeli Faoliyat yuritmoqda

Wan-Animate-2 — Wanxiang jamoasi tomonidan ochiq manbada taqdim etilgan yangi avlod personaj animatsiyasi modeli. Wan-Animate’ning muhim arxitektura yangilanishi sifatida u aniq poza skeleti va yordamchi poza ajratish tarmoqlariga bo‘lgan ehtiyojdan voz kechib, end-to-end ikki tarmoqli Diffusion Transformer (DiT) modeliga o‘tadi va harakat priорlarini to‘g‘ridan-to‘g‘ri referens videodan ushlaydi. Model matn orqali rakursni boshqarishni qo‘llab-quvvatlaydi va 24 fps gacha ishlay oladigan real vaqt rejimidagi oqimli variantni taqdim etadi.

Driving videoni personaj animatsiyasiga aylantirish: reference.png referens tasviri va template.mp4 driving shablon videosini kiriting, shunda referens personaj driving videodagi harakat va kamera ritmini takrorlaydi.
End-to-end harakat ko‘chirish: qayta ishlab chiqilgan DiT driving videoni bevosita qayta ishlaydi, oraliq harakat ajratgichdan foydalanmaydi va harakat aniqligi hamda shaxsiylik izchilligini bir vaqtda oshirishni maqsad qiladi.
Shaxsiyat va ko‘rinishni saqlash: reference image token va reference video token diqqat hisoblashida qatnashib, referens ko‘rinishni generatsiya jarayoniga kiritadi va “harakat o‘xshaydi, ammo yuz buziladi” holatini kamaytiradi.
Matnni standartlashtirilgan boshqarish: inferensiyadan oldin LLM yordamida qat’iy formatdagi caption yaratiladi. Unda faqat “personaj ko‘rinishi tavsifi + fon tavsifi” yoziladi; harakat tasvirlanmaydi va hissiyot taxmin qilinmaydi. Keyin u Wan-Animate-2 prompti sifatida ishlatiladi.
Matn orqali rakursni boshqarish: matn yordamida chiqish kamerasi rakursini driving videodan mustaqil boshqarish mumkin. Bu “bir xil harakat, turli kamera joylashuvi/rakursi” generatsiyasini osonlashtiradi.
Base yuqori sifat rejimi: standart inferensiya skripti odatiy konfiguratsiyadan foydalanadi. Rasmiy Diffusers misolida num_inference_steps=40 bo‘lib, sifatga ustuvorlik beradi.
Distillation kam qadamli rejimi: distillatsiya vaznlari misolida 10 steps, guidance_scale=1.0 va Euler solver/no CFG ishlatiladi. Bu tezroq natija olish va past kechikishni tekshirishga mo‘ljallangan.
Real vaqtga yo‘naltirilgan istiqbolli funksiya: maqolada Wan-Animate-2-Lite taklif qilingan. U teacher forcing, error buffer, Self-Forcing distillatsiyasi va chunk-wise backpropagation orqali kechikishni real vaqt chegarasiga yaqinlashtiradi hamda oqimli personaj animatsiyasiga yo‘naltirilgan.
Mahalliy va onlayn foydalanish: mahalliy Gradio skripti taqdim etilgan. Base uchun wan_animate_2_gradio.py, distillatsiya uchun wan_animate_2_gradio_distillation.py ishlatiladi; README shuningdek ModelScope Studio onlayn demosiга yo‘naltiradi.
Muhandislik ekotizimiga kirish: vaznlar HuggingFace/ModelScope orqali tarqatiladi. Model ID misoli — Wan-AI/Wan2.2-Animate-2-14B. Diffusers manba kodidan o‘rnatilib ulanishi mumkin, ComfyUI/DiffSynth-Studio esa hali Todo holatida.
Sozlanadigan parallel generatsiya: standart sozlamalar 8×A800 va 720P uchun moslangan, shuningdek 2×A800 va 480P konfiguratsiyasi ham sinovdan o‘tkazilgan. Turli qurilmalar uchun YAML parallel konfiguratsiyasini o‘zgartirish kerak.

WeChat’da kuzatib, “开源” deb javob bering va AI ochiq manba loyihalari guruhiga qo‘shiling.
Uskunani tayyorlash: avvalo rasmiy standart konfiguratsiya bo‘yicha 8×A800 va 720P ni rejalashtiring. Rasmiy jamoa 2×A800 va 480P ni ham sinagan, ammo iste’molchi darajasidagi bitta GPU’da ishlashini standart deb hisoblamang.
Reponi klonlash: git clone --recursive https://github.com/Wan-Video/Wan-Animate-2.git.
Muhit yaratish: Python 3.11; torch 2.7.0 / torchvision 0.22.0 / torchaudio 2.7.0 va CUDA 12.6 manbasini o‘rnating, so‘ng requirements.txt va flash-attn’ni o‘rnating, oxirida pip install -e . buyrug‘ini bajaring.
Vaznlarni yuklab olish: HuggingFace uchun huggingface-cli download Wan-AI/Wan2.2-Animate-2-14B --local-dir ./ckpts/; ModelScope uchun modelscope download --model Wan-AI/Wan2.2-Animate-2-14B --local_dir ./ckpts/.
Avval caption yarating: Qwen3.7-Plus kabi LLM’dan foydalaning. Rasmiy xitoycha format bo‘yicha faqat “personaj ko‘rinishi tavsifi + fon tavsifi”ni yozing, harakat, hissiyot yoki bahoni kiritmang.
Base’ni ishga tushirish: infer katalogiga kiring va wan_animate_2_demo.py skriptini --prompt, --refer-img-file, --refer-video-file, --config ./wan_animate_2.yaml parametrlari bilan bajaring.
Distillatsiya versiyasini ishga tushirish: wan_animate_2_distillation.yaml fayliga o‘ting va --sample_guide_scale 1.0 --step 10 parametrlarini qo‘shing. Diffusers tomonida mos qiymatlar guidance_scale=1.0 va flow_solver="euler".
Parallel konfiguratsiyani o‘zgartirish: GPU soni yoki videoxotirasi rasmiy konfiguratsiyaga mos kelmasa, avval YAML parallel configs qismini o‘zgartiring, keyin OOM yoki tezlikdagi muammolarni tekshiring.
Tezkor sinov: joylashtirishni istamasangiz, avval ModelScope Studio’ni sinab ko‘ring; mahalliy foydalanish uchun wan_animate_2_gradio.py yoki wan_animate_2_gradio_distillation.py’ni ishga tushiring.

Harakat aniqligi va shaxsiylik izchilligi asosiy afzalliklardir: oraliq harakat ajratgich olib tashlangani sababli, nazariy jihatdan xatolar to‘planishining yana bir bosqichi kamayadi.
Ishlab chiqarish jarayoniga mos: rasmiy jamoa caption yaratishni qat’iy formatga keltirgan. Personaj ko‘rinishi va fonni tasvirlash, harakatni tasvirlamaslik talab qilinadi, bu esa barqaror takrorlashni osonlashtiradi.
Past kechikish yo‘nalishi aniq: Distillation 10 qadamli inferensiyani qo‘llab-quvvatlaydi; Lite maqolasi esa bevosita real vaqt rejimidagi oqimli raqamli insonlarga yo‘naltirilgan.
Tijoriy foydalanish uchun qulayligi nisbatan yuqori: Apache-2.0 ikkilamchi ishlab chiqish uchun qulayroq, biroq amaliy tijoriy foydalanishda material mualliflik huquqi, shaxs tasviri huquqi va platforma qoidalarini hisobga olish kerak.

Loyiha rasmiy sayti: https://humanaigc.github.io/wan-animate-2
Github repozitoriysi: https://github.com/Wan-Video/Wan-Animate-2
ModelScope: https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-2-14B
arXiv texnik maqolasi: https://arxiv.org/pdf/2608.06009
Onlayn demo: https://www.modelscope.cn/studios/Wan-AI/Wan2.2-Animate

Virtual boshlovchi / raqamli inson jonli efiri: Lite yo‘nalishi real vaqt chegarasi va oqimli personaj animatsiyasiga aniq yo‘naltirilgan. U “real inson boshqaradigan virtual obraz” asosidagi past kechikishli jonli efirlar uchun mos.
Qisqa video / qisqa serial personajlari uchun dublyor: aktyorning ijro videosini driving video sifatida olib, personaj illyustratsiyasi yoki referens tasviriga qo‘llash mumkin. Bu fantastik personajlar, IP obrazlar va arzon dublyor kadrlar uchun mos; asosiy imkoniyatlar end-to-end harakat ko‘chirish va shaxsiyatni saqlashdir.
Raqs, MV va imo-ishorali raqsning yangi talqinlari: bir raqs shabloni bilan turli personaj obrazlarini boshqaring, ko‘p personajli takroriy raqs, bir kadrda kiyim almashtirish yoki uslublashtirilgan MV yarating. Rakurs nazorati “bir xil harakat, turli kamera joylashuvi” montaj materiallarini ham yaratishga yordam beradi.
Elektron tijorat va brend kontenti: brend mascot’i yoki virtual modelni yagona shablon bo‘yicha harakatlantirib, yangi mahsulot videolari, tadbir sahifasi videolari va ijtimoiy tarmoq materiallarini yarating. Tijoriy foydalanishdan oldin shaxs tasviri, kiyim mualliflik huquqi va platforma talablarini hal qilish kerak.
Ta’lim / bilim blogerlari dars materiallari: o‘qituvchi yoki multfilm o‘qituvchisi obrazini belgilangan harakat shablonlari bilan boshqarib, kirish, o‘tish va bilim nuqtalarini ko‘rsatuvchi kadrlarni ommaviy yarating hamda takroriy suratga olish xarajatlarini kamaytiring.
O‘yin NPC’lari / cutscene prevyusi: rejissyor avval real inson ijrosi orqali personaj prototipini tezda boshqarib, harakat ritmi, kamera va hissiyotni tekshiradi, so‘ng rasmiy motion capture va rendering jarayoniga o‘tish-o‘tmaslikni hal qiladi.