DuoMatching Faoliyat yuritmoqda

DuoMatching — Gonkong Xitoy universiteti MMLab va ByteDance tomonidan birgalikda ishlab chiqilgan, kam bosqichli video generatsiyasi distillatsiya freymvorki. DuoMatching video o‘qituvchisi orqali vaqt bo‘yicha izchillikni ta’minlash bilan birga, har bir kadr sifati va semantik moslikni nazorat qilish uchun muzlatilgan tasvir modelini joriy etadi. U latent fazolarni bog‘lash uchun LatentBridge’dan, muhim nazorat kadrlarini tanlash uchun esa LVS’dan foydalanib, tasvir tafsilotlari va promptlarga rioya qilishni yaxshilaydi. DuoMatching inferensiya xarajatlarini oshirmaydi; 2 bosqichli generatsiyada VBench umumiy balli 83.53 ga yetadi.

Har bir kadr sifatini oshirish: kam bosqichli video generatsiyasida soch, tekstura va material kabi tafsilotlarning xiralashishi yoki yo‘qolishi muammosini yaxshilaydi.
Semantik moslikni kuchaytirish: modelning promptlarga rioya qilish qobiliyatini oshiradi, obyektlarning yo‘qolishi va rang xatolari kabi holatlarni kamaytiradi.
Vaqt bo‘yicha ko‘rsatkichlarni saqlash: har bir kadr sifatini optimallashtirish bilan birga, videoning kadrlararo izchilligi va harakat qobiliyatini asosan saqlab qoladi.
Kam bosqichli generatsiyani qo‘llab-quvvatlash: 2, 4 va boshqa kam bosqichli video generatsiyalarida ishlatilishi mumkin, real vaqt yoki interaktiv ilovalar talablariga javob beradi.
Inferensiya xarajatlarini oshirmaslik: tasvir o‘qituvchisi faqat treningda qatnashadi, joylashtirilgan talaba modeli tasvir modelini qo‘shimcha ravishda ishga tushirishni talab qilmaydi.

WeChat’da kuzatib, “开源” deb javob yuboring va AI ochiq manbali loyihalar muhokama guruhiga qo‘shiling
Birgalikdagi va marginal taqsimotlarni ikki tomonlama moslashtirish: DuoMatching an’anaviy qo‘shma DMD’dan tashqari marginal DMD’ni ham qo‘shadi: video o‘qituvchisi butun videoning qo‘shma taqsimotini moslashtirib, vaqt bo‘yicha izchillik va harakat sifatini saqlaydi; muzlatilgan tasvir o‘qituvchisi esa tanlangan kadrlarning marginal taqsimotini moslashtirib, har bir kadr sifati va semantik moslikni yaxshilaydi. Ikki xil yo‘qotish funksiyasi talaba modelini birgalikda o‘qitadi, marginal yo‘qotish vazni sukut bo‘yicha 0.4 ga teng.
Video va tasvir latent fazolarini LatentBridge orqali bog‘lash: video VAE va tasvir VAE latent tuzilmalari mos kelmagani sababli, DuoMatching taxminan 10,75 million parametrli LatentBridge’dan foydalanib, video latent bo‘laklarini to‘g‘ridan-to‘g‘ri tasvir o‘qituvchisining latent fazosiga aks ettiradi. Modul L1 rekonstruksiya yo‘qotishi orqali oldindan o‘qitiladi. Bu avval RGB formatiga dekodlab, keyin qayta kodlashdan kelib chiqadigan yuqori videoxotira sarfini bartaraf etib, tasvir o‘qituvchisiga video talaba modelini samarali nazorat qilish imkonini beradi.
Kadr darajasidagi nazorat namunalarini LVS orqali optimallashtirish: Latent Variation Sampling qo‘shni latent bo‘laklaridagi o‘zgarish kuchiga ko‘ra video qismlarini ajratadi, so‘ng har bir qismdan nazorat kadrlarini tanlaydi; sukut bo‘yicha har bir videodan 4 ta latent bo‘lak olinadi. Tasodifiy tanlash bilan solishtirganda, nazoratning harakatsiz tasvirlarda to‘planishini kamaytirib, cheklangan kadr darajasidagi nazorat resurslarini o‘zgarishi ko‘proq bo‘lgan kontentga taqsimlaydi.

Ishlash muhitini tayyorlash: CUDA’ni qo‘llab-quvvatlaydigan NVIDIA grafik kartasini tayyorlang va Python 3.10 muhitini sozlang.
Loyihani yuklab olish va o‘rnatish: DuoMatching repozitoriysini klonlang, PyTorch, FlashAttention va loyiha uchun zarur bog‘liqliklarni o‘rnating.
Model fayllarini yuklab olish: Wan2.1-T2V-1.3B asosiy komponentlari va DuoMatching rasmiy og‘irliklarini oling hamda ularni repozitoriyning sukut bo‘yicha kataloglariga joylashtiring.
Promptlarni tayyorlash: UTF-8 formatidagi yangi matn faylini yarating va har bir qatorga bittadan prompt yozing. Shuningdek, rasmiy prompts/demos.txt faylidan bevosita foydalanish mumkin.
Video generatsiyasini boshlash: inference.py faylini ishga tushiring va buyruqda inferensiya konfiguratsiyasi, model og‘irliklari, promptlar fayli hamda chiqish katalogini belgilang.
Generatsiya natijalarini ko‘rish: videoni chiqish katalogidan oling. Rasmiy misolda sukut bo‘yicha 21 kadr generatsiya qilinadi; chiqish kadrlar soni va tasodifiy urug‘ qiymatini sozlash mumkin.

Har bir kadr sifati sezilarli yaxshilanadi: mustaqil kadr darajasidagi nazorat orqali kam bosqichli generatsiyada soch, tekstura va material kabi tafsilotlarning yo‘qolishi muammosi kamayadi.
Promptlarga rioya qilish aniqroq: tasvir modelining semantik oldindan bilishlaridan foydalanib, obyektlarning yo‘qolishi, rang xatolari va kompozitsiya og‘ishlarini kamaytiradi.
Inferensiya xarajatlari oshmaydi: tasvir o‘qituvchisi faqat treningda qatnashadi, joylashtirilgan talaba modeli qo‘shimcha inferensiya bosqichlari yoki hisoblashni talab qilmaydi.
Tasvir sifati va harakat qobiliyatini uyg‘unlashtiradi: vizual sifat va semantik moslikni yaxshilash bilan birga, videoning vaqt bo‘yicha izchilligi va harakat ko‘rsatkichlarini asosan saqlaydi.
Tasvir modellaridagi yutuqlardan barqaror foydalanish mumkin: kuchliroq tasvir o‘qituvchisiga almashtirish talaba modelini yanada yaxshilashi mumkin, odatda mos LatentBridge’ni qayta o‘qitish talab etiladi.

Loyiha rasmiy sayti: https://johnzhan2023.github.io/DuoMatching/
GitHub repozitoriysi: https://github.com/JohnZhan2023/DuoMatching
HuggingFace model kutubxonasi: https://huggingface.co/JohnZhan/DuoMatching
arXiv texnik maqolasi: https://arxiv.org/pdf/2610.03543

Real vaqtli interaksiya va jonli efir generatsiyasi: kam bosqichli va past kechikishli xususiyatlardan foydalanib, raqamli insonlar, virtual boshlovchilar va interaktiv jonli efirlar uchun harakat hamda mimika videolarini tez generatsiya qiladi.
Reklama va elektron tijorat kontentini yaratish: mahsulot materiali, rangi va ko‘rsatilgan obyektlarning generatsiya aniqligini oshirib, reklama tasvirlari bilan kreativ promptlar o‘rtasidagi nomuvofiqlikni kamaytiradi.
Qisqa seriallar va animatsiyalarni oldindan ko‘rish: kadrlar rejasini va dinamik namunalarni tez generatsiya qilib, ijodkorlarga qahramon harakatlari, kamera ishlanmasi va vizual effektlarni kam xarajat bilan tekshirishga yordam beradi.
O‘yinlar va virtual olamlar uchun kontent generatsiyasi: o‘yinlardagi o‘tish sahnalari, qahramon harakatlari va virtual muhitlar uchun tezkor video prototiplarini taqdim etib, interaktiv kontent yaratish samaradorligini oshiradi.
Yuqori parallel video generatsiyasi xizmatlari: qo‘shimcha inferensiya xarajatlarini oshirmagan holda kam bosqichli model tasvir sifatini yaxshilaydi va generatsiya tezligi, xizmat narxi hamda chiqish sifatini birgalikda ta’minlashi kerak bo‘lgan platformalar uchun mos keladi.