MAGI-2-preview – Sand.ai کا اوپن سورس ملٹی موڈل ویڈیو جنریشن ماڈل آپریشن میں

MAGI-2-preview، Sand.ai کا اوپن سورس دنیا کا پہلا ایک سو ارب پیرامیٹرز والا MoE ملٹی موڈل ویڈیو جنریشن ماڈل ہے، جس کے کل پیرامیٹرز 114B اور فعال پیرامیٹرز صرف 6B ہیں۔ یہ ماڈل سنگل اسٹریم آرکیٹیکچر کو برقرار رکھتے ہوئے متن، ویڈیو اور آڈیو کو ایک ہی Transformer میں متحد کر کے مشترکہ ماڈلنگ کرتا ہے، جس سے مقامی ملٹی موڈل جنریشن ممکن ہوتی ہے، اور یہ AA ویڈیو جنریشن رینکنگ میں چھٹے نمبر پر ہے۔ ماڈل کا کوڈ اور پری ٹرینڈ وزن دستیاب کر دیے گئے ہیں، جو ویڈیو جنریشن کے شعبے میں مؤثر Scaling کی نئی راہ کی توثیق کرتے ہیں۔

ملٹی موڈل ویڈیو جنریشن: متن، تصویر اور ویڈیو سے ویڈیو جنریشن کو سپورٹ کرتا ہے، اور آڈیو کی تفہیم کو مقامی طور پر شامل کرتا ہے۔
MoE کی sparse activation: 114B کل پیرامیٹرز میں سے صرف 6B فعال ہوتے ہیں، جس سے inference کی لاگت نمایاں طور پر کم ہوتی ہے۔
سنگل اسٹریم متحدہ آرکیٹیکچر: روایتی cross-attention الحاق کے طریقے کو ترک کرتے ہوئے پہلی پرت ہی سے تصویر اور آواز کی مشترکہ ماڈلنگ کرتا ہے۔
مؤثر Scaling: ویڈیو جنریشن کے منظرناموں کے لیے MoE کمیونیکیشن اور تربیتی استحکام کو ازسرنو ڈیزائن کیا گیا ہے، جس سے انتہائی طویل سلسلوں میں متعدد کارڈز کے درمیان کمیونیکیشن کی رکاوٹ دور ہوتی ہے۔

WeChat پر فالو کریں اور “اوپن سورس” کا جواب دے کر AI اوپن سورس پروجیکٹس کے گروپ میں شامل ہوں
MoE مخلوط ماہرین کا آرکیٹیکچر: ماڈل کی کل گنجائش 114B ہے، جبکہ ہر forward pass میں صرف 6B پیرامیٹرز فعال ہوتے ہیں، جس سے گنجائش اور حساب الگ ہو جاتے ہیں۔
سنگل اسٹریم Transformer: متن، ویڈیو اور آڈیو ٹوکنز input layer سے ہی ایک ہی Transformer میں داخل ہوتے ہیں اور self-attention کے ذریعے براہِ راست ملٹی موڈل معلومات کا تبادلہ کرتے ہیں، جو متعدد ٹاورز پر مبنی الحاقی آرکیٹیکچر کے مقابلے میں آڈیو اور تصویر کی ہم زمانی کی تفصیلات کو پکڑنے کے لیے زیادہ موزوں ہے۔
تقسیم شدہ کمیونیکیشن کی اصلاح: ویڈیو کے انتہائی طویل سلسلوں کی خصوصیات کے لیے expert parallelism میں token routing اور کمیونیکیشن حکمتِ عملی کو ازسرنو ڈیزائن کیا گیا ہے، جس سے متعدد GPUs کے درمیان ڈیٹا منتقلی کا خرچ کم ہوتا ہے۔
تربیتی استحکام کا حل: dynamic routing، ماہرین کے load balancing اور ملٹی موڈل ڈیٹا کی مشترکہ تربیت پر مبنی تین سطحی استحکام کا طریقۂ کار۔

ماحول کی تیاری: GitHub repository SandAI-org/MAGI-2-preview کو clone کریں اور README کے مطابق dependencies ترتیب دیں۔
وزن ڈاؤن لوڈ کریں: GitHub Releases سے پری ٹرینڈ وزن حاصل کریں۔
Inference چلائیں: configuration فائل اور اسکرپٹ کے پیرامیٹرز میں ترمیم کریں۔ t2v / i2v / v2v تینوں modes سپورٹ ہوتے ہیں۔ MAGI-1 کے run.sh فارمیٹ کے مطابق عمل کریں۔
ہارڈویئر کی ضروریات: مخصوص configuration سرکاری دستاویزات کی تازہ کاری کے منتظر ہے۔ MAGI-1 کے 24B متعدد H100 کارڈز یا 4.5B واحد 24GB VRAM کارڈ والے حل سے رہنمائی لینے کی تجویز ہے۔

اوپن سورس اور تجارتی استعمال کے قابل: ماڈل Apache 2.0 لائسنس استعمال کرتا ہے، جبکہ پری ٹرینڈ وزن اور inference کوڈ مکمل طور پر دستیاب ہیں۔
ایک سو ارب MoE میں اولین: دنیا کا پہلا کامیابی سے اوپن سورس کیا گیا ایک سو ارب سطح کا MoE ویڈیو جنریشن ماڈل، جو ویڈیو کے شعبے میں Scaling کی نئی راہ کی توثیق کرتا ہے۔
کم لاگت، زیادہ گنجائش: صرف 6B فعال پیرامیٹرز 114B ماڈل کو چلا سکتے ہیں، جس سے inference کی لاگت ہم حجم کے dense ماڈلز سے کہیں کم رہتی ہے۔
مقامی ملٹی موڈل صلاحیت: سنگل اسٹریم آرکیٹیکچر ماڈل کی بنیادی سطح پر آڈیو اور ویڈیو کو گہرائی سے مربوط کرتا ہے، جس سے بعد کی alignment کے باعث ہونے والی تاخیر اور معیار کے نقصان سے بچا جاتا ہے۔

پروجیکٹ کی سرکاری ویب سائٹ: https://sand.ai/blog/magi-2-preview
GitHub repository: https://github.com/SandAI-org/MAGI-2-preview
HuggingFace ماڈل repository: https://huggingface.co/sand-ai/MAGI-2-preview

طویل ویڈیو اشتہارات اور مختصر ڈرامے: MoE کی بڑی گنجائش پیچیدہ بیانیہ ماڈلنگ کو سپورٹ کرتی ہے اور منٹوں پر مشتمل مربوط کہانی والی ویڈیوز تیار کر سکتی ہے۔
ملٹی موڈل فلم و ٹی وی پری ویژولائزیشن: مقامی آڈیو تفہیم کی صلاحیت ڈبنگ، صوتی اثرات اور تصویر کی ہم وقت جنریشن و تدوین ممکن بناتی ہے۔
AI ویڈیو علمی تحقیق: اوپن سورس ایک سو ارب سطح کے ویڈیو MoE وزن علمی دنیا کو قابلِ تکرار Scaling baseline فراہم کرتے ہیں۔
کاروباری نجی تعیناتی: Apache 2.0 لائسنس پر مبنی یہ ماڈل مالیات اور طب جیسے حساس شعبوں میں نجی ویڈیو جنریشن کی صلاحیتیں بنانے کی سہولت دیتا ہے۔
ریئل ٹائم اسٹریمنگ جنریشن: sparse activation inference کی لاگت کم کرتی ہے، جس سے کم تاخیر والی ریئل ٹائم ویڈیو جنریشن اور لائیو اسٹریمنگ کے منظرناموں کو سہارا ملتا ہے۔