VDN-MiniMax-H3 Faoliyat yuritmoqda

VDN-MiniMax-H3 — OpenVDN jamoasi tomonidan ochiq manbali taqdim etilgan, MiniMax-H3 asosida takomillashtirilgan video generatsiyasini tezlashtirish yechimi. Model gibrid e’tibor arxitekturasidan foydalanadi: mahalliy siljuvchi oyna Softmax nozik detallarni saqlaydi, uzoq masofali chiziqli e’tibor uzoq kontekstni qayta ishlaydi, so‘ng 8 bosqichli distillatsiya denoising bosqichlarini keskin kamaytiradi. Model 8 ta NVIDIA B200 qurilmasida atigi 11.23 soniyada taxminan 14.4 soniyalik 768p video yaratadi; tasvir sifati asl 50 bosqichli Dense H3 bilan deyarli yo‘qotishsiz teng.

Gibrid e’tibor arxitekturasi: video e’tiborini mahalliy Softmax va uzoq masofali chiziqli tarmoqlarga ajratib, nozik detallar hamda uzoq kontekstni birgalikda ta’minlaydi.
8 bosqichda ultra tez generatsiya: DMD2 distillatsiyasi denoising bosqichlarini 50 tadan 8 taga qisqartirib, generatsiya vaqtini keskin kamaytiradi.
Deyarli yo‘qotishsiz tasvir sifati: 14.4 soniyalik videoni 11.23 soniyada yaratgan holda, vizual sifat asl 50 bosqichli Dense H3 bazaviy modeliga yaqin bo‘lib qoladi.
Uch bosqichli moslashtirish: oldindan o‘qitilgan modelni tasodifiy initsializatsiya ta’siridan himoyalash uchun qatlamma-qatlam tekislash, uchdan-uchgacha tarmoq moslashtiruvi va LoRA bilan qo‘shma moslashtirish qo‘llanadi.
Tarmoqlar uchun maxsus parallellik: Softmax va chiziqli tarmoqlar turli GPUlarga taqsimlanadi, bu standart Ulysses parallelligiga nisbatan kechikishni yana 13.3% kamaytiradi.

WeChat’da kuzatib boring va “开源” deb javob yuboring, AI ochiq manbali loyihalar guruhiga qo‘shiling.
Gibrid e’tibor arxitekturasi: VDN video e’tiborini mahalliy Softmax va uzoq masofali chiziqli ikkita to‘ldiruvchi tarmoqqa ajratadi. Birinchisi nozik detallarni saqlaydi, ikkinchisi esa uzoq kontekstni chiziqli murakkablikda qayta ishlaydi va to‘liq kvadratik e’tiborni almashtiradi.
Mahalliy Softmax tarmog‘i: ikki tomonlama siljuvchi oyna qo‘llanadi; har 5 kadr qo‘shni bloklarga e’tibor qaratadi va boshlang‘ich hamda yakuniy kadrlar chegara tayanchi sifatida kiritiladi. E’tibor zichligini atigi 3.57% oshirish orqali global vaqt izchilligi saqlanadi.
Video Delta Attention: an’anaviy tokenma-token Delta Rule kadrma-kadr qo‘shma yechimga aylantiriladi. Normal tenglamalar barcha fazoviy tokenlarga yangi holatni birgalikda belgilash imkonini beradi; bu tabiatan kengaymaydi, tokenlar o‘rtasidagi bog‘liqlikka moslashadi va kadr o‘lchamini qat’iy masshtablashni talab qilmaydi.
Matnni ikki tarmoqqa kiritish: Softmax tarmog‘ida matn har bir kadr uchun global ko‘rinadi; chiziqli tarmoqda esa matn initsializatsiya vaqtida ikki tomonlama holatga bir marta yoziladi va takroriy hisoblashning oldi olinadi.
Boshqariladigan birlashtirish mexanizmi: ikki tarmoq chiqishlarining masshtabi turlicha bo‘lgani uchun har biriga mazmunga bog‘liq Sigmoid boshqaruvi va mustaqil chiqish proyeksiyasi beriladi, shundan keyin ular birlashtiriladi. Softmax boshqaruvi treningning dastlabki ikki bosqichida muzlatiladi, bu optimizatorning yo‘qotishni kamaytirish uchun asl tarmoq hissasini pasaytirishiga yo‘l qo‘ymaydi.
Uch bosqichli moslashtirish: avval chiziqli tarmoq qatlamma-qatlam tekislanadi, keyin barcha gibrid modullar uchdan-uchgacha birgalikda optimallashtiriladi, oxirida esa QKVO LoRA va chiziqli tarmoq birgalikda nozik sozlanadi. Jarayon davomida oldindan o‘qitilgan asosiy tarmoq muzlatilgan holda qoladi va generatsiya sifati buzilmasligi ta’minlanadi.

Muhitni tayyorlash: GitHub omborini klonlagach, Python 3.12 muhitini yarating va PyTorch 2.13.0 hamda loyiha bog‘liqliklarini o‘rnating.
Modelni yuklab olish: ModelScope orqali OpenVDN/vdn-minimax-h3 og‘irliklarini mahalliy ckpts katalogiga yuklab oling.
Rasmiy namunani ishga tushirish: scripts/inference/8nfe_tuned_fp8.sh buyrug‘ini bajarib, bitta GPUda namuna videosini yarating.
Ko‘p GPUli inference: uskunaga qarab 8 ta GPUda 8nfe_tuned_fp8_ulysses_h200.sh yoki b200.sh skriptini ishga tushiring.
Maxsus promptlar: encode_prompt.py yordamida Qwen3-VL-32B ni chaqirib, matnni .pt xususiyatlar fayliga kodlang, so‘ng video yaratish uchun infer.py ga uzating.

Ultra tez generatsiya: 8 bosqichli distillatsiya va gibrid e’tibor yordamida 8 ta B200 qurilmasida taxminan 14.4 soniyalik 768p video atigi 11.23 soniyada yaratiladi; bu asl modelga nisbatan 74.5 baravar tezroq.
Deyarli yo‘qotishsiz tasvir sifati: vizual detallar, obyekt izchilligi va ko‘rsatmalarga rioya qilish qobiliyati 50 bosqichli Dense H3 bazaviy modeliga yaqin va 4 bosqichli FastH3 dan ancha yaxshi.
Gibrid e’tibor arxitekturasi: mahalliy Softmax nozik vaqt detallarini saqlaydi, uzoq masofali chiziqli e’tibor esa uzoq kontekstni chiziqli murakkablikda qayta ishlab, sifat va samaradorlikni uyg‘unlashtiradi.
Kadr darajasida qo‘shma yechim (VDA): tokenma-token yangilash kadrma-kadr qo‘shma optimallashtirishga aylantiriladi; u tabiatan kengaymaydi, tokenlar bog‘liqligiga moslashadi va qat’iy masshtablashni talab qilmaydi.
Bosqichma-bosqich barqaror moslashtirish: qatlamma-qatlam tekislash, uchdan-uchgacha tarmoq moslashtiruvi va LoRA bilan qo‘shma nozik sozlashdan iborat uch bosqichli trening tasodifiy initsializatsiyaning oldindan o‘qitilgan modelga ta’sirini bartaraf etadi.
Tarmoqlar uchun maxsus parallellik: Softmax va VDA tarmoqlari turli GPUlarda bajariladi, bu standart Ulysses parallelligiga nisbatan kechikishni yana 13.3% kamaytiradi.

Loyiha rasmiy sayti: https://openvdn.github.io/
GitHub ombori: https://github.com/OpenVDN/vdn-minimax-h3
HuggingFace modeli: https://huggingface.co/OpenVDN/vdn-minimax-h3

Real vaqt rejimidagi interaktiv video ijodkorligi: 8 bosqichli ultra tez generatsiya ijodkorlarga promptlarni real vaqt rejimida o‘zgartirish va natijani darhol ko‘rish imkonini beradi, ijodiy takrorlash davrini sezilarli qisqartiradi.
Reklama va marketing materiallarini ommaviy ishlab chiqarish: elektron tijorat va brendlar bayram aksiyalari kabi yuqori chastotali ehtiyojlar uchun mahsulot taqdimoti videolari hamda dinamik plakatlarning ko‘plab variantlarini tez yaratishi mumkin.
Kino oldindan ko‘rigi va dinamik storyboard: rejissyorlar hamda prodyuserlik jamoalari suratga olishdan oldin storyboard animatsiyalarini tez yaratib, kadr tili, sahna harakati va hikoya ritmini tekshirishlari mumkin.
O‘yinlar uchun dinamik kontent yaratish: ochiq dunyo o‘yinlari yoki virtual ijtimoiy platformalar uchun NPC animatsiyalari, muhit o‘tishlari va o‘yinchiga moslashtirilgan syujet lavhalarini real vaqt rejimida yaratadi.
Ijtimoiy tarmoqlar uchun qisqa videolarni sanoat usulida ishlab chiqarish: MCN agentliklari va mustaqil kontent yaratuvchilari kam xarajat va yuqori parallellik bilan qisqa syujetli filmlar, virtual qahramonlar Vloglari kabi videolarni ishlab chiqishi mumkin.