DuoMatching Inafanya kazi

DuoMatching ni mfumo wa kunereka kwa uzalishaji wa video kwa hatua chache, uliotengenezwa kwa pamoja na MMLab ya CUHK na ByteDance. Wakati mwalimu wa video wa DuoMatching anahakikisha ulinganifu wa muda, mfumo huanzisha modeli ya picha iliyogandishwa kusimamia ubora wa kila fremu na ulinganifu wa kisemantiki. LatentBridge huunganisha nafasi fiche, huku LVS ikichagua fremu muhimu za usimamizi, na hivyo kuboresha maelezo ya picha na ufuataji wa vidokezo. DuoMatching haiongezi gharama ya ufasiri; jumla ya alama ya VBench kwa uzalishaji wa hatua 2 hufikia 83.53.

Kuongeza ubora wa kila fremu: Huboresha matatizo ya maelezo kama nywele, maumbo na nyenzo kuwa hafifu au kupotea katika uzalishaji wa video kwa hatua chache.
Kuimarisha ulinganifu wa kisemantiki: Huboresha uwezo wa modeli kufuata vidokezo, na kupunguza hali kama vitu kukosekana au rangi kuwa zisizo sahihi.
Kudumisha utendaji wa muda: Wakati ubora wa kila fremu unaboresha, ulinganifu kati ya fremu na uwezo wa mwendo wa video huhifadhiwa kwa kiasi kikubwa.
Kusaidia uzalishaji wa hatua chache: Inaweza kutumika kwa uzalishaji wa video wa hatua 2, hatua 4 na zaidi wenye ucheleweshaji mdogo, kwa mahitaji ya programu za wakati halisi au shirikishi.
Kutokuongeza gharama ya ufasiri: Mwalimu wa picha hushiriki katika mafunzo pekee; modeli ya mwanafunzi iliyowekwa kazini haihitaji kuendesha modeli ya ziada ya picha.

Fuata WeChat na ujibu “开源” ili kujiunga na kundi la mawasiliano la miradi huria ya AI
Ulinganishaji wa pamoja na wa mgawanyo wa pembezoni: Mbali na DMD ya jadi ya ulinganishaji wa pamoja, DuoMatching huongeza DMD ya pembezoni. Mwalimu wa video anawajibika kulinganisha mgawanyo wa pamoja wa video nzima na kudumisha ubora wa muda na mwendo; mwalimu wa picha aliyegandishwa anawajibika kulinganisha mgawanyo wa pembezoni wa fremu za sampuli na kuboresha ubora wa kila fremu pamoja na ulinganifu wa kisemantiki. Hasara hizi mbili hufundisha modeli ya mwanafunzi kwa pamoja, huku uzito chaguo-msingi wa hasara ya pembezoni ukiwa 0.4.
LatentBridge huunganisha nafasi fiche za video na picha: Kwa kuwa miundo fiche ya VAE ya video na VAE ya picha haiendani, DuoMatching hutumia LatentBridge yenye takriban vigezo 1075万 ili kuweka vipande vya latent vya video moja kwa moja katika nafasi fiche ya mwalimu wa picha. Moduli hii hufunzwa awali kwa hasara ya ujenzi upya ya L1, hivyo kuepuka gharama kubwa ya kumbukumbu ya video inayotokana na kusimbua hadi RGB kisha kusimba tena, na kumwezesha mwalimu wa picha kusimamia kwa ufanisi mwanafunzi wa video.
LVS huboresha sampuli za usimamizi wa kiwango cha fremu: Latent Variation Sampling hugawanya vipande vya video kulingana na ukubwa wa mabadiliko kati ya vipande fiche vilivyo jirani, kisha huchagua fremu za usimamizi kutoka kila kipande. Kwa chaguo-msingi, kila video husampuliwa vipande fiche 4. Ikilinganishwa na sampuli nasibu, mbinu hii hupunguza uwezekano wa usimamizi kujikita kwenye picha zisizotembea na hutenga bajeti finyu ya usimamizi wa kiwango cha fremu kwa maudhui yenye mabadiliko zaidi.

Andaa mazingira ya uendeshaji: Andaa kadi ya picha ya NVIDIA inayotumia CUDA na sanidi mazingira ya Python 3.10.
Pakua na usakinishe mradi: Kloni hazina ya DuoMatching, kisha usakinishe PyTorch, FlashAttention na utegemezi unaohitajika na mradi.
Pakua faili za modeli: Pata vipengele vya msingi vya Wan2.1-T2V-1.3B pamoja na uzani rasmi wa DuoMatching, na uviweke katika saraka chaguo-msingi ya hazina.
Andaa vidokezo: Unda faili ya maandishi ya UTF-8 na uandike kidokezo kimoja kwa kila mstari; unaweza pia kutumia moja kwa moja prompts/demos.txt rasmi.
Anzisha uzalishaji wa video: Endesha inference.py na uainishe katika amri usanidi wa ufasiri, uzani wa modeli, faili ya vidokezo na saraka ya matokeo.
Angalia matokeo ya uzalishaji: Pata video katika saraka ya matokeo. Mfano rasmi huzalisha fremu 21 kwa chaguo-msingi; idadi ya fremu za matokeo na mbegu nasibu vinaweza kuwekwa.

Uboreshaji dhahiri wa ubora wa kila fremu: Kupitia usimamizi huru wa kiwango cha fremu, huboresha tatizo la kupotea kwa maelezo kama nywele, maumbo na nyenzo katika uzalishaji wa hatua chache.
Ufuataji sahihi zaidi wa vidokezo: Kwa kutumia maarifa ya kisemantiki ya modeli ya picha, hupunguza kukosekana kwa vitu, makosa ya rangi na mkengeuko wa mpangilio.
Kutokuongeza gharama ya ufasiri: Mwalimu wa picha hushiriki katika mafunzo pekee; modeli ya mwanafunzi iliyowekwa kazini haihitaji kuongeza hatua za ufasiri au hesabu za ziada.
Kusawazisha ubora wa picha na uwezo wa mwendo: Wakati ubora wa kuona na ulinganifu wa kisemantiki ukiboreshwa, ulinganifu wa muda na utendaji wa mwendo wa video huhifadhiwa kwa kiasi kikubwa.
Kuendelea kutumia maendeleo ya modeli za picha: Kubadilisha na mwalimu bora zaidi wa picha kunaweza kuboresha zaidi modeli ya mwanafunzi; kwa kawaida LatentBridge inayolingana huhitaji kufundishwa upya.

Tovuti rasmi ya mradi: https://johnzhan2023.github.io/DuoMatching/
Hazina ya GitHub: https://github.com/JohnZhan2023/DuoMatching
Hazina ya modeli ya HuggingFace: https://huggingface.co/JohnZhan/DuoMatching
Karatasi ya kiteknolojia ya arXiv: https://arxiv.org/pdf/2610.03543

Mwingiliano wa wakati halisi na uzalishaji wa matangazo ya moja kwa moja: Tumia sifa za hatua chache na ucheleweshaji mdogo kuzalisha kwa haraka video za vitendo na ishara za nyuso kwa binadamu wa kidijitali, watangazaji pepe na matangazo shirikishi ya moja kwa moja.
Utengenezaji wa maudhui ya matangazo na biashara ya mtandaoni: Huboresha usahihi wa kuzalisha nyenzo, rangi na vitu vilivyobainishwa vya bidhaa, na kupunguza kutolingana kati ya picha za matangazo na vidokezo vya ubunifu.
Uhakiki wa awali wa tamthilia fupi na uhuishaji: Huzalisha kwa haraka ubao wa matukio na sampuli zinazobadilika, na kuwasaidia waundaji kuthibitisha kwa gharama ndogo vitendo vya wahusika, muundo wa kamera na athari za kuona.
Uzalishaji wa maudhui ya michezo na ulimwengu pepe: Hutoa vielelezo vya haraka vya video kwa matukio ya mpito ya mchezo, vitendo vya wahusika na mandhari pepe, na kuboresha ufanisi wa uzalishaji wa maudhui shirikishi.
Huduma za uzalishaji wa video zenye maombi mengi kwa wakati mmoja: Huboresha ubora wa modeli ya hatua chache bila kuongeza gharama ya ziada ya ufasiri, na inafaa kwa mifumo inayohitaji kusawazisha kasi ya uzalishaji, gharama ya huduma na ubora wa matokeo.