DMAD Faoliyat yuritmoqda

DMAD（Distribution Matching as Adversarial Distillation）ByteDance va Texas A&M universiteti tomonidan birgalikda ochiq manba sifatida taqdim etilgan, diffuziya modellari generatsiyasini tezlashtirish uchun mo‘ljallangan kam bosqichli distillatsiya freymvorkidir. DMAD ikki sinfli diskriminatorni o‘qitib, maqsadli taqsimot va talaba taqsimoti o‘rtasidagi farqni bevosita o‘rganadi hamda yordamchi diffuziya modeliga ehtiyojni yo‘q qiladi; 50 bosqichli o‘qituvchi modelni 4 bosqichli talaba modeliga distillatsiya qiladi. Hozirda ImageNet, SDXL, Wan2.1 va MiniMax-H3-33B qo‘llab-quvvatlanadi; 8GB videoxotira bilan taxminan 5 soniyalik 1344×768 o‘lchamdagi ovozli video yaratish mumkin.

Kam bosqichli tasvir generatsiyasi: ImageNet-64 EDM modelini 1 bosqichli namunalar olishgacha distillatsiya qiladi, FID 1.04 gacha tushadi; SDXL esa matndan tasvir yaratish uchun atigi 4 bosqichni talab qiladi.
Kam bosqichli matndan video generatsiyasi: Wan2.1-T2V-14B modelini 4 bosqichli talaba modeliga distillatsiya qiladi, VBench natijasi 85.15 ga yetadi.
Birgalikda audio-video generatsiyasi: MiniMax-H3-33B’ning 50 bosqichli o‘qituvchi modelini 4 bosqichga distillatsiya qiladi va 1344×768 video hamda 32kHz tabiiy stereo audio chiqaradi.
Iste’molchi qurilmalarini qo‘llab-quvvatlash: 8GB videoxotirali ComfyUI ish jarayoni va kam videoxotirali buyruqlar qatori orqali xulosa chiqarish imkoniyati taqdim etiladi; 8GB videokarta taxminan 5 soniyalik, 12GB esa taxminan 15 soniyalik ovozli video yaratishi mumkin.
O‘qitish va xulosa chiqarish to‘liq ochiq manbali: distillatsiya usuli, o‘qitish kodi, xulosa chiqarish skriptlari va bir nechta model uchun LoRA vaznlari, jumladan buyruqlar qatori va ComfyUI usullari taqdim etilgan.

WeChat’da kuzatib, “开源” so‘ziga javob yuboring va AI ochiq manba loyihalari guruhiga qo‘shiling
Taqsimotni moslashtirish orqali adversarial distillatsiya: DMAD ikki sinfli diskriminatorni maqsadli namunalar va talaba namunalarini farqlash uchun o‘qitadi. Optimal diskriminator logiti ikki taqsimot zichliklarining logarifmik nisbatiga teng; uning kiritmasi bo‘yicha gradient olish score farqini beradi va talaba uchun tuzatish yo‘nalishini bevosita ko‘rsatadi. Shu tariqa yordamchi score moslashtirish modeli kerak bo‘lmaydi.
Umumiy backbone va ikki boshli diskriminator: diskriminator bitta umumiy xususiyatlar backbone’i va ikkita diskriminatsiya boshidan foydalanadi. O‘qituvchi boshi o‘qituvchi namunalari bilan talaba namunalarini, haqiqiy ma’lumotlar boshi esa haqiqiy namunalar bilan talaba namunalarini farqlaydi; ikkalasi ham ikkilik kross-entropiya bilan o‘qitiladi. Talaba ikki logitning vaznli chiziqli yo‘qotishi orqali yangilanadi; yangilash vaqtida diskriminator parametrlari muzlatiladi, ammo gradientning orqaga uzatilishi saqlanadi.
Shovqin diapazonlarini dinamik vaznlash: o‘qituvchi namunalari va haqiqiy ma’lumotlar taqsimotlari o‘rtasidagi farq shovqin darajasiga qarab o‘zgaradi. DMAD haqiqiy ma’lumotlar boshining ikki turdagi namunadagi o‘rtacha logit farqidan empirik signal sifatida foydalanadi va har bir shovqin diapazonini 0.99 so‘nishli eksponensial harakatlanuvchi o‘rtacha orqali kuzatadi. Farqi kichik diapazonlarga yuqoriroq o‘qituvchi vazni beriladi; normallashtirilgandan so‘ng ular talaba yo‘qotishida ishtirok etadi.
O‘qituvchi namunalarini oflayn ishlatish orqali o‘qitishni tezlashtirish: o‘qituvchi faqat oldindan yaratilgan va keshlangan namunalarni taqdim etadi, shuning uchun o‘qitish vaqtida o‘qituvchini onlayn chaqirish talab qilinmaydi. 4 ta H200 karta va MiniMax-H3 rank-128 LoRA konfiguratsiyasida har bir talaba yangilanishi hamda unga bog‘liq diskriminator yangilanishi vaqti 818.1 soniyadan 233.3 soniyagacha qisqarib, o‘qitish taxminan 3.51 baravar tezlashadi.

Repоzitoriyni klonlash: git clone https://github.com/Yzmblog/DMAD.git buyrug‘ini bajaring va loyiha katalogiga kiring.
Muhit yaratish: conda yordamida Python 3.12 muhitini yarating va uni faollashtiring.
Qaramliklarni o‘rnatish: rasmiy belgilangan versiyalar asosida PyTorch 2.11.0（cu126）, torchvision va torchaudio’ni o‘rnating, so‘ng pip install -r requirements.txt va pip install -U modelscope-hub buyruqlarini bajaring.
Uskunani tayyorlash: CUDA’ni qo‘llab-quvvatlaydigan NVIDIA videokartasi mavjudligini tekshiring, shuningdek taxminan 64GB tizim xotirasi va 170GB disk maydoni ajrating.
Asosiy modelni yuklab olish: MiniMax-H3 asosiy modelini yuklab olish uchun modelscope download MiniMax/MiniMax-H3 buyrug‘idan foydalaning.
Distillatsiya vaznlarini yuklab olish: ModelScope’dan DMAD’ning 4 bosqichli LoRA’sini yuklab oling.
Buyruqlar qatori orqali xulosa chiqarish: inference.py’ni ishga tushiring va model yo‘li, LoRA, prompt fayli, --steps 4, --height 768 --width 1344 parametrlarini belgilang; videoxotiraga qarab --low-vram 8 yoki --low-vram 12 parametrini tanlang.
Natijani ko‘rish: chiqish katalogida 0000.mp4, prompt txt fayli va settings.json bo‘ladi; jarayon muvaffaqiyatli ishlagach, prompt faylini o‘zingiznikiga almashtirishingiz mumkin.

Xulosa chiqarish sezilarli darajada tezlashadi: 50 bosqichli o‘qituvchi model 4 bosqichli talaba modeliga distillatsiya qilinadi, denoising iteratsiyalari 92% dan ko‘proqqa kamayadi va o‘qituvchi modelga yaqin generatsiya sifati saqlanadi.
O‘qitish samaradorligi yuqori: diskriminator taqsimotlar farqini bevosita o‘rganadi, yordamchi diffuziya modeliga ehtiyoj qolmaydi; 4 ta H200 kartasida o‘qitish yangilanishlari taxminan 3.51 baravar tezlashadi.
Generatsiya sifati yetakchi: ImageNet-64’da bir bosqichli generatsiya FID ko‘rsatkichi 1.04 ga yetadi va DMD2, SiDA kabi usullardan ustun; inson baholashida DMD2’ga nisbatan umumiy afzallik darajasi 79.1%, rCM’ga nisbatan esa 84.6% ni tashkil etadi.
Ko‘p modal va turli ssenariylarni qamrab oladi: bitta freymvork tasvir, matndan video va birgalikdagi audio-video generatsiyasini yagona tarzda qo‘llab-quvvatlaydi.

Loyiha rasmiy sayti: https://yzmblog.github.io/projects/DMAD/
GitHub repozitoriysi: https://github.com/Yzmblog/DMAD
HuggingFace model kutubxonasi: https://huggingface.co/ZhengmingYu/DMAD
arXiv texnik maqolasi: https://arxiv.org/pdf/2610.02188

Qisqa video kontenti yaratish: tabiiy audio bilan 4 bosqichda 5–15 soniyalik video yaratiladi; ijodkorlar 8GB iste’molchi videokartasida ijtimoiy tarmoqlar uchun materiallarni tez tayyorlashi va ishlab chiqarish xarajatlarini sezilarli kamaytirishi mumkin.
Reklama va marketing materiallarini yaratish: brendlar promptlar asosida mahsulot namoyishi va vaziyatga mos videolarni ommaviy yaratishi, ularni yuqori sifatli audio bilan birlashtirishi va reklama materialini g‘oyadan tayyor mahsulotgacha yetkazish muddatini qisqartirishi mumkin.
Kino uchun oldindan vizualizatsiya va konsept dizayn（Previs）: rejissorlar va rassomlar kam bosqichli distillatsiya yordamida kadr oldi sinovlari, muhit namunalari va storyboard qoralamalarini tez yaratib, dastlabki ijodiy iteratsiyalarni jadallashtiradi.
O‘yin va animatsiya aktivlarini ishlab chiqarish: qahramon animatsiyalari, sahna konsept tasvirlari va dinamik fon materiallarini yaratib, mustaqil o‘yin studiyalari hamda kichik animatsiya jamoalariga aktivlar ishlab chiqarish xarajatlarini kamaytirishda yordam beradi.