MAGI-2-preview – Sand.ai tomonidan ochiq manbali ko‘p modal videolar generatsiyasi modeli Faoliyat yuritmoqda

MAGI-2-preview — Sand.ai tomonidan ochiq manbali qilingan dunyodagi ilk 100 milliard parametrli MoE ko‘p modal videolar generatsiyasi modeli. U jami 114B parametrga ega, faqat 6B parametri faollashadi. Model bir oqimli arxitekturani davom ettirib, matn, video va audioni yagona Transformer ichida birgalikda modellashtiradi hamda tabiiy ko‘p modal generatsiyani amalga oshiradi. U AA video generatsiyasi reytingida oltinchi o‘rinni egallagan. Model kodi va oldindan o‘qitilgan og‘irliklar ochiq taqdim etilgan bo‘lib, video generatsiyasi sohasida samarali Scaling uchun yangi yo‘lni tasdiqlaydi.

Ko‘p modal video generatsiyasi: matn, tasvir va videodan video generatsiyasini qo‘llab-quvvatlaydi hamda audio tushunishni tabiiy tarzda birlashtiradi.
MoE siyrak faollashtirish: jami 114B parametrdan faqat 6B tasi faollashadi, bu inferensiya xarajatlarini sezilarli darajada kamaytiradi.
Bir oqimli yagona arxitektura: an’anaviy cross-attention orqali birlashtirish usulidan voz kechib, birinchi qatlamdanoq tasvir va tovushni birgalikda modellashtiradi.
Samarali Scaling: video generatsiyasi holatlari uchun MoE kommunikatsiyasi va o‘qitish barqarorligi qayta ishlab chiqilgan, bu juda uzun ketma-ketliklarda GPUlararo aloqa to‘sig‘ini bartaraf etadi.

WeChat’da kuzatib boring va “ochiq manba” deb javob yuborib, AI ochiq manbali loyihalar guruhiga qo‘shiling
MoE aralash ekspertlar arxitekturasi: modelning umumiy sig‘imi 114B ga yetadi, bitta oldinga yo‘nalishli hisoblashda esa faqat 6B parametr faollashadi. Bu sig‘im va hisoblashni bir-biridan ajratish imkonini beradi.
Bir oqimli Transformer: matn, video va audio tokenlari kirish qatlamidanoq yagona Transformer’ga kiradi va o‘z-o‘ziga e’tibor mexanizmi orqali modalitetlararo ma’lumot almashadi. Ko‘p minorali birlashtirish arxitekturasiga nisbatan bu tasvir va tovush sinxronligining nozik tafsilotlarini yaxshiroq aniqlashga yordam beradi.
Taqsimlangan kommunikatsiyani optimallashtirish: videolarning juda uzun ketma-ketliklari xususiyatiga mos ravishda ekspertlar parallelligidagi tokenlarni yo‘naltirish va kommunikatsiya strategiyasi qayta ishlab chiqilgan, bu GPUlararo ma’lumot uzatish xarajatlarini kamaytiradi.
O‘qitish barqarorligi yechimi: dinamik yo‘naltirish, ekspertlar yuklamasini muvozanatlash va multimodal ma’lumotlar asosida birgalikda o‘qitishdan iborat uch bosqichli barqarorlik mexanizmi.

Muhitni tayyorlash: SandAI-org/MAGI-2-preview GitHub omborini klonlang va README asosida bog‘liqliklarni sozlang.
Og‘irliklarni yuklab olish: oldindan o‘qitilgan og‘irliklarni GitHub Releases’dan oling.
Inferensiyani ishga tushirish: konfiguratsiya fayli va skript parametrlarini o‘zgartiring. t2v / i2v / v2v rejimlari qo‘llab-quvvatlanadi; MAGI-1 dagi run.sh formatiga amal qilib ishga tushiring.
Uskuna talablari: aniq konfiguratsiya rasmiy hujjatlar yangilangandan so‘ng ma’lum bo‘ladi. MAGI-1 ning 24B modeli uchun ko‘p GPUli H100 yoki 4.5B modeli uchun bitta 24GB VRAMli GPU yechimiga murojaat qilish tavsiya etiladi.

Ochiq manbali va tijoriy foydalanish mumkin: model Apache 2.0 litsenziyasidan foydalanadi, oldindan o‘qitilgan og‘irliklar va inferensiya kodi to‘liq ochiq.
100 milliard parametrli MoE sohasida ilk loyiha: dunyoda muvaffaqiyatli ochiq manbali qilingan ilk 100 milliard darajasidagi MoE video generatsiyasi modeli bo‘lib, video sohasida Scaling uchun yangi yo‘lni tasdiqlaydi.
Kam xarajat va katta sig‘im: 6B faollashtiriladigan parametr 114B modelni boshqaradi, inferensiya xarajatlari shu miqyosdagi zich modellarga qaraganda ancha past.
Tabiiy ko‘p modallilik: bir oqimli arxitektura audio va videoni modelning quyi qatlamidayoq chuqur birlashtiradi, keyingi bosqichdagi moslashtirish sababli yuzaga keladigan kechikish va sifat yo‘qotishlarining oldini oladi.

Loyiha rasmiy sayti: https://sand.ai/blog/magi-2-preview
GitHub ombori: https://github.com/SandAI-org/MAGI-2-preview
HuggingFace model ombori: https://huggingface.co/sand-ai/MAGI-2-preview

Uzun videoli reklamalar va qisqa seriallar: MoE ning katta sig‘imi murakkab hikoyalarni modellashtirishni qo‘llab-quvvatlaydi va daqiqalar davom etadigan izchil syujetli videolarni yaratishi mumkin.
Ko‘p modal kino va televideniye previsualizatsiyasi: tabiiy audio tushunish imkoniyati dublyaj, tovush effektlari va tasvirni sinxron tarzda yaratish hamda tahrirlashga yordam beradi.
AI video bo‘yicha akademik tadqiqotlar: ochiq manbali 100 milliard darajasidagi video MoE og‘irliklari akademik hamjamiyatga takrorlanadigan Scaling bazasini taqdim etadi.
Korxonalarda xususiy joylashtirish: Apache 2.0 litsenziyasiga asoslangan model moliya, tibbiyot kabi nozik sohalarda xususiy video generatsiyasi imkoniyatlarini yaratishni qo‘llab-quvvatlaydi.
Real vaqt rejimida striming generatsiyasi: siyrak faollashtirish inferensiya xarajatlarini kamaytiradi va past kechikishli real vaqt video generatsiyasi hamda jonli efir holatlarini ta’minlaydi.