MAGI-2-preview – Muundo wa uzalishaji wa video wa aina nyingi kutoka Sand.ai wenye msimbo huria Inafanya kazi

MAGI-2-preview ni muundo wa kwanza duniani wa video wa aina nyingi wa MoE wenye vigezo bilioni 100 uliotolewa na Sand.ai kama msimbo huria, ukiwa na jumla ya vigezo 114B na vigezo 6B pekee vinavyoamilishwa. Muundo huu unaendeleza usanifu wa mkondo mmoja, ukiunganisha maandishi, video na sauti katika Transformer moja kwa uundaji wa pamoja na kuwezesha uzalishaji asilia wa maudhui ya aina nyingi. Ulishika nafasi ya sita katika orodha ya AA ya uzalishaji wa video. Msimbo wa muundo na uzani wa mafunzo ya awali umewekwa wazi, na kuthibitisha njia mpya bora ya Scaling katika uwanja wa uzalishaji wa video.

Uzalishaji wa video wa aina nyingi: Huwezesha uzalishaji wa maandishi, picha na video-kwa-video, pamoja na uelewa asilia wa sauti.
Uamilishaji nadra wa MoE: Kati ya jumla ya vigezo 114B, ni 6B pekee vinavyoamilishwa, hivyo kupunguza kwa kiasi kikubwa gharama ya uelekezaji.
Usanifu wa mkondo mmoja uliounganishwa: Huachana na mbinu za kawaida za kuunganisha kwa cross-attention na kuanza kuunda pamoja picha na sauti tangu safu ya kwanza.
Scaling bora: Hujenga upya mawasiliano ya MoE na uthabiti wa mafunzo kwa ajili ya uzalishaji wa video, na kutatua kizuizi cha mawasiliano kati ya kadi za GPU katika mfuatano mrefu kupita kiasi.

Fuata WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano kuhusu miradi ya AI yenye msimbo huria
Usanifu wa MoE wa wataalamu mchanganyiko: Uwezo wa jumla wa muundo ni 114B, huku uenezaji mmoja wa mbele ukiamilisha vigezo 6B pekee, na kutenganisha uwezo na hesabu.
Transformer ya mkondo mmoja: Tokeni za maandishi, video na sauti huingia katika Transformer moja tangu safu ya ingizo. Kupitia self-attention, hubadilishana moja kwa moja taarifa za aina mbalimbali, jambo linalosaidia zaidi kunasa maelezo ya ulandanishi wa picha na sauti kuliko usanifu wa minara mingi uliounganishwa.
Uboreshaji wa mawasiliano yaliyosambazwa: Kwa kuzingatia sifa za mfuatano mrefu sana wa video, uelekezaji wa tokeni na mikakati ya mawasiliano katika ulinganifu wa wataalamu imeundwa upya ili kupunguza gharama ya uhamishaji wa data kati ya GPU.
Mpango wa uthabiti wa mafunzo: Unategemea uelekezaji wa nguvu, usawazishaji wa mzigo wa wataalamu na mafunzo ya pamoja ya data za aina nyingi kama mbinu tatu za kuhakikisha uthabiti.

Maandalizi ya mazingira: Nakili hazina ya GitHub SandAI-org/MAGI-2-preview na usanidi vitegemezi kulingana na README.
Kupakua uzani: Pata uzani wa mafunzo ya awali kutoka GitHub Releases.
Kuendesha uelekezaji: Rekebisha faili ya usanidi na vigezo vya hati; mfumo unaunga mkono hali tatu za t2v / i2v / v2v. Tumia umbizo la run.sh la MAGI-1 kama rejeleo.
Mahitaji ya maunzi: Usanidi mahususi unasubiri kusasishwa kwa nyaraka rasmi; inashauriwa kurejelea suluhisho la MAGI-1 la 24B kwenye H100 nyingi au 4.5B kwenye kadi moja yenye 24GB VRAM.

Msimbo huria na matumizi ya kibiashara: Muundo unatumia leseni ya Apache 2.0, huku uzani wa mafunzo ya awali na msimbo wa uelekezaji ukiwa wazi kabisa.
Ubunifu wa kwanza wa MoE wa vigezo bilioni 100: Muundo wa kwanza duniani wa uzalishaji wa video wa MoE wa kiwango cha vigezo bilioni 100 uliotolewa kwa mafanikio kama msimbo huria, unaothibitisha njia mpya ya Scaling katika uwanja wa video.
Gharama ndogo, uwezo mkubwa: Vigezo 6B vinavyoamilishwa vinaweza kuendesha muundo wa 114B, hivyo gharama ya uelekezaji huwa chini sana kuliko ya miundo mnene yenye ukubwa sawa.
Aina nyingi asilia: Usanifu wa mkondo mmoja huwezesha sauti na video kuunganishwa kwa kina kwenye msingi wa muundo, na kuepuka ucheleweshaji na upotevu wa ubora unaosababishwa na ulandanishaji wa baadaye.

Tovuti rasmi ya mradi: https://sand.ai/blog/magi-2-preview
Hazina ya GitHub: https://github.com/SandAI-org/MAGI-2-preview
Hazina ya miundo ya HuggingFace: https://huggingface.co/sand-ai/MAGI-2-preview

Matangazo ya video ndefu na tamthilia fupi: Uwezo mkubwa wa MoE huunga mkono uundaji wa simulizi changamano na unaweza kuzalisha video zenye mfululizo wa matukio wa kiwango cha dakika.
Utayarishaji wa awali wa filamu za aina nyingi: Uwezo wa asili wa kuelewa sauti huwezesha uundaji na uhariri uliosawazishwa wa dubbing, athari za sauti na picha.
Utafiti wa kitaaluma wa video za AI: Uzani wa MoE wa video wa kiwango cha vigezo bilioni 100 wenye msimbo huria huwapa wasomi msingi wa Scaling unaoweza kurudiwa.
Uwekaji wa kibinafsi katika biashara: Kwa kuzingatia leseni ya Apache 2.0, muundo huu huwezesha sekta nyeti kama fedha na afya kujenga uwezo binafsi wa uzalishaji wa video.
Uzalishaji wa wakati halisi wa utiririshaji: Uamilishaji nadra hupunguza gharama ya uelekezaji na unaweza kusaidia uzalishaji wa video wa wakati halisi wenye ucheleweshaji mdogo pamoja na matukio ya matangazo ya moja kwa moja.