VDN-MiniMax-H3 Inafanya kazi

VDN-MiniMax-H3 ni suluhisho la kuongeza kasi ya uzalishaji wa video lililowekwa wazi na timu ya OpenVDN, lililoboreshwa kutoka MiniMax-H3. Muundo huu hutumia usanifu wa umakini mseto: Softmax ya dirisha la kuteleza la ndani huhifadhi maelezo mazuri, umakini wa mstari wa masafa marefu hushughulikia muktadha wa muda mrefu, kisha idadi ya hatua za kuondoa kelele hupunguzwa kwa kiasi kikubwa kupitia kunereka kwa hatua 8. Kwenye NVIDIA B200 8, modeli inaweza kuzalisha video ya takriban sekunde 14.4 yenye mwonekano wa 768p kwa sekunde 11.23 pekee, huku ubora wa picha ukiwa karibu bila upotevu ikilinganishwa na Dense H3 ya awali yenye hatua 50.

Muundo mseto wa umakini: Hugawanya umakini wa video kuwa tawi la Softmax la karibu na tawi la mstari la masafa marefu, hivyo kudumisha maelezo sahihi pamoja na muktadha wa masafa marefu.
Uzalishaji wa haraka kwa hatua 8: Kwa kutumia distillation ya DMD2, hatua za kuondoa kelele hupunguzwa kutoka 50 hadi 8, hivyo kupunguza kwa kiasi kikubwa muda wa uzalishaji.
Ubora wa picha unaokaribia kutopoteza ubora: Hutengeneza video ya sekunde 14.4 ndani ya sekunde 11.23, huku ubora wa kuona ukikaribia msingi wa Dense H3 wa hatua 50.
Ubadilishaji unaolingana na mafunzo ya hatua tatu: Hutumia ulinganishaji wa tabaka kwa tabaka, urekebishaji wa tawi wa mwisho hadi mwisho, na urekebishaji wa pamoja wa LoRA, ili kuepuka usumbufu wa uanzishaji wa nasibu kwenye modeli iliyofunzwa awali.
Ulinganifu maalum wa matawi: Hugawa matawi ya Softmax na mstari kwa GPU tofauti, na kupunguza ucheleweshaji kwa 13.3% zaidi ikilinganishwa na ulinganifu wa kawaida wa Ulysses.

Fuata WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi huria ya AI
Muundo mseto wa umakini: VDN hugawanya umakini wa video katika matawi mawili yanayokamilishana, Softmax ya eneo na umakini wa mstari wa masafa marefu. Tawi la kwanza huhifadhi maelezo madogo, huku la pili likishughulikia muktadha wa masafa marefu kwa ugumu wa mstari, hivyo kuchukua nafasi ya umakini kamili wenye ugumu wa mraba.
Tawi la Softmax la eneo: Hutumia madirisha ya kuteleza ya pande mbili, kila fremu 5 ikiwa kundi linalozingatia vitalu vya karibu, na hujumuisha fremu ya mwanzo na ya mwisho kama nanga za mipaka. Kwa kuongeza msongamano wa umakini kwa 3.57% pekee, hudumisha uthabiti wa mpangilio wa muda duniani kote.
Video Delta Attention: Huboresha Delta Rule ya kawaida ya kila tokeni hadi utatuzi wa pamoja wa kila fremu. Kupitia milinganyo ya kawaida, tokeni zote za anga huamua kwa pamoja hali mpya, jambo linaloifanya isiwe ya kupanuka kiasili na iweze kujirekebisha kulingana na uhusiano wa tokeni, bila kuhitaji kuongeza ukubwa wa fremu kwa lazima.
Uingizaji wa maandishi wa matawi mawili: Katika tawi la Softmax, maandishi yanaonekana kimataifa kwa kila fremu; katika tawi la mstari, maandishi huandikwa mara moja katika hali ya pande mbili wakati wa uanzishaji, hivyo kuepuka ukokotoaji unaojirudia.
Mbinu ya muunganiko wenye lango: Matokeo ya matawi mawili yana mizani tofauti. Kila tawi hupewa lango la Sigmoid linalohusiana na maudhui na projeksheni huru ya matokeo, kisha huunganishwa. Lango la Softmax hugandishwa katika hatua mbili za kwanza za mafunzo, kuzuia kioptimishaji kupunguza hasara kwa kushusha mchango wa tawi la awali.
Urekebishaji wa mafunzo wa hatua tatu: Kwanza, tawi la mstari hupangiliwa kwa tabaka; kisha moduli zote mseto huboreshwa kwa pamoja kutoka mwanzo hadi mwisho; hatimaye, hurekebishwa pamoja na QKVO LoRA na tawi la mstari. Msingi mkuu uliokwisha fundishwa hugandishwa muda wote ili kuhakikisha ubora wa uzalishaji hauharibiki.

Maandalizi ya mazingira: Baada ya ku-clone hazina ya GitHub, unda mazingira ya Python 3.12, kisha usakinishe PyTorch 2.13.0 pamoja na utegemezi wa mradi.
Pakua modeli: Tumia ModelScope kupakua uzani wa OpenVDN/vdn-minimax-h3 kwenye saraka ya ndani ya ckpts.
Endesha mfano rasmi: Tekeleza scripts/inference/8nfe_tuned_fp8.sh ili kuzalisha video ya mfano kwa kutumia GPU moja.
Utabiri kwenye GPU nyingi: Kulingana na maunzi, chagua hati ya 8nfe_tuned_fp8_ulysses_h200.sh au b200.sh na uiendeshe kwenye GPU 8.
Vidokezo maalum: Tumia encode_prompt.py kuita Qwen3-VL-32B ili kusimba maandishi kuwa faili ya vipengele ya .pt, kisha ipitishe kwa infer.py ili kuzalisha video.

Uzalishaji wa kasi: Udestilishaji wa hatua 8 pamoja na umakini mseto huwezesha kuzalisha video ya takriban sekunde 14.4 yenye ubora wa 768p kwa sekunde 11.23 pekee kwenye GPU 8 za B200, ikiwa ni kasi mara 74.5 zaidi kuliko modeli asilia.
Ubora wa picha unaokaribia kutopoteza chochote: Maelezo ya kuona, uthabiti wa mhusika na uwezo wa kufuata maagizo vinakaribia msingi wa Dense H3 wa hatua 50, na ni bora kwa kiasi kikubwa kuliko FastH3 ya hatua 4.
Muundo wa umakini mseto: Softmax ya eneo huhifadhi maelezo mazuri ya mfuatano wa wakati, huku umakini wa mstari wa masafa marefu ukishughulikia muktadha wa masafa marefu kwa ugumu wa mstari, hivyo kusawazisha ubora na ufanisi.
Utatuzi wa pamoja wa kiwango cha fremu (VDA): Husasisha uboreshaji wa kila tokeni kuwa uboreshaji wa pamoja wa kila fremu, ukiwa usio wa upanuzi kiasili na unaojirekebisha kulingana na uhusiano wa tokeni, bila kuhitaji kuongeza ukubwa kwa lazima.
Ubadilishaji thabiti wa hatua kwa hatua: Mafunzo ya hatua tatu yanayojumuisha ulinganishaji wa kila tabaka, urekebishaji wa tawi kutoka mwanzo hadi mwisho na urekebishaji wa pamoja wa LoRA huepuka usumbufu wa uanzishaji wa nasibu kwenye modeli iliyofunzwa awali.
Ulinganifu maalum kwa matawi: Husambaza matawi ya Softmax na VDA kwenye GPU tofauti ili kutekelezwa, na hupunguza ucheleweshaji kwa 13.3% zaidi ikilinganishwa na ulinganifu wa kawaida wa Ulysses.

Tovuti rasmi ya mradi: https://openvdn.github.io/
Hifadhi ya GitHub: https://github.com/OpenVDN/vdn-minimax-h3
Hifadhi ya modeli ya HuggingFace: https://huggingface.co/OpenVDN/vdn-minimax-h3

Uundaji wa video shirikishi kwa wakati halisi: Uundaji wa haraka katika hatua 8 huwawezesha wabunifu kurekebisha vidokezo kwa wakati halisi na kuhakiki matokeo mara moja, hivyo kupunguza kwa kiasi kikubwa mzunguko wa kuboresha mawazo.
Uzalishaji kwa wingi wa nyenzo za utangazaji na uuzaji: Kampuni za biashara ya mtandaoni na chapa zinaweza kuunda haraka video za kuonyesha bidhaa katika matoleo mengi pamoja na mabango yanayobadilika, ili kukidhi mahitaji ya mara kwa mara ya nyenzo wakati wa kampeni za sikukuu na ofa kubwa.
Uhuishaji wa awali wa filamu na mpangilio wa picha unaobadilika: Wakurugenzi na timu za uzalishaji zinaweza kuunda haraka uhuishaji wa mpangilio wa picha kabla ya upigaji picha rasmi, na kuthibitisha lugha ya kamera, upangaji wa matukio na kasi ya usimulizi.
Uundaji wa maudhui yanayobadilika ya michezo: Kuunda kwa wakati halisi uhuishaji wa NPC, mabadiliko ya mazingira na vipande vya hadithi vilivyobinafsishwa kwa wachezaji katika michezo ya ulimwengu huria au majukwaa ya kijamii ya mtandaoni.
Uzalishaji wa viwandani wa video fupi za mitandao ya kijamii: Mashirika ya MCN na wabunifu wa maudhui binafsi wanaweza kuzalisha kwa gharama ndogo na kwa wingi maudhui mafupi ya video kama vile vipande vya hadithi na Vlog za wahusika pepe.