MAGI-2-preview – نموذج Sand.ai مفتوح المصدر لتوليد الفيديو متعدد الوسائط خدام

MAGI-2-preview هو أول نموذج مفتوح المصدر فالعالم لتوليد الفيديو متعدد الوسائط مبني على MoE بمئات المليارات من المعلمات، بإجمالي 114B معلمة، وما كيتفعّل غير 6B منها. النموذج كيعتمد بنية ذات تدفق واحد، وكيجمع النص والفيديو والصوت فـ Transformer واحد للنمذجة المشتركة، باش يحقق توليداً أصلياً متعدد الوسائط، وكيحتل المرتبة السادسة فترتيب AA لتوليد الفيديو. الكود ديال النموذج والأوزان المدربة مسبقاً متاحة، وكيأكد على مسار جديد وفعّال للتوسّع فمجال توليد الفيديو.

توليد الفيديو متعدد الوسائط: كيدعم التوليد من النص والصورة والفيديو إلى الفيديو، مع دمج أصلي لفهم الصوت.
التفعيل المتناثر لـ MoE: من أصل 114B معلمة، كيتفعّل غير 6B، وهاد الشي كيخفض تكلفة الاستدلال بشكل كبير.
بنية موحّدة ذات تدفق واحد: كيتفادى طريقة الجمع التقليدية عبر cross-attention، وكيبدا من الطبقة الأولى فالنمذجة المشتركة للصورة والصوت.
التوسّع بكفاءة: تعاودات هندسة اتصال MoE واستقرار التدريب بما يناسب توليد الفيديو، مع حل اختناق الاتصال بين البطاقات فالسلاسل الطويلة بزاف.

تابعونا فـ WeChat وردّوا بـ “开源” باش تنضمّو لمجموعة التواصل ديال مشاريع الذكاء الاصطناعي مفتوحة المصدر
بنية MoE ديال الخبراء المتعددين: السعة الإجمالية ديال النموذج كتوصل لـ 114B، ولكن فكل تمريرة أمامية كيتفعّل غير 6B من المعلمات، وهاد الشي كيفصل بين السعة والحساب.
Transformer ذو تدفق واحد: رموز النص والفيديو والصوت كيدخلو لنفس Transformer من طبقة الإدخال، وكيبادلو المعلومات بين الوسائط مباشرة عبر الانتباه الذاتي، وهاد الشي كيساعد أكثر على التقاط تفاصيل التزامن بين الصورة والصوت مقارنة ببنية الأبراج المتعددة المجمّعة.
تحسين الاتصال الموزّع: بما يناسب السلاسل الطويلة بزاف ديال الفيديو، تعاودات هندسة توجيه الرموز واستراتيجيات الاتصال فالتوازي بين الخبراء، باش تنقص كلفة نقل البيانات بين وحدات GPU.
حلول استقرار التدريب: آليات ثلاثية لضمان الاستقرار، كتشمل التوجيه الديناميكي، وتوازن الحمل بين الخبراء، والتدريب المشترك على البيانات متعددة الوسائط.

تحضير البيئة: نسخ مستودع GitHub SandAI-org/MAGI-2-preview، ومن بعد إعداد الاعتماديات حسب README.
تحميل الأوزان: الحصول على الأوزان المدربة مسبقاً من GitHub Releases.
تشغيل الاستدلال: تعديل ملف الإعدادات ومعلمات السكريبت، مع دعم ثلاثة أوضاع: t2v / i2v / v2v، والتنفيذ حسب صيغة run.sh ديال MAGI-1.
متطلبات العتاد: الإعدادات الدقيقة غادي تتحدد من بعد فالتوثيق الرسمي، ومن المستحسن الرجوع لحل MAGI-1 بـ 24B على عدة بطاقات H100 أو 4.5B على بطاقة وحدة بذاكرة 24GB VRAM.

مفتوح المصدر وقابل للاستعمال التجاري: النموذج خاضع لرخصة Apache 2.0، والأوزان المدربة مسبقاً وكود الاستدلال مفتوحين بالكامل.
أول MoE بمئات المليارات: أول نموذج مفتوح المصدر بنجاح فالعالم لتوليد الفيديو، مبني على MoE بمئات المليارات، وكيأكد على مسار جديد للتوسّع فمجال الفيديو.
سعة كبيرة بتكلفة منخفضة: تفعيل 6B من المعلمات كافي لتشغيل نموذج فيه 114B، وهاد الشي كيخلي تكلفة الاستدلال أقل بزاف من النماذج الكثيفة من نفس الحجم.
تعدد وسائط أصلي: البنية ذات التدفق الواحد كتخلي الصوت والفيديو مندمجين بعمق فالمستوى الأساسي للنموذج، وكتتفادى التأخير وضياع الجودة الناتجين عن المحاذاة فمرحلة لاحقة.

الموقع الرسمي للمشروع: https://sand.ai/blog/magi-2-preview
مستودع GitHub: https://github.com/SandAI-org/MAGI-2-preview
مستودع النماذج على HuggingFace: https://huggingface.co/sand-ai/MAGI-2-preview

إعلانات الفيديو الطويلة والمسلسلات القصيرة: السعة الكبيرة ديال MoE كتدعم نمذجة السرد المعقد، وكتقدر تولّد فيديوهات بقصص مترابطة على مدى دقائق.
المعاينة الأولية للأعمال السينمائية متعددة الوسائط: القدرة الأصلية على فهم الصوت كتسمح بتوليد وتحرير الدبلجة والمؤثرات الصوتية والصورة بشكل متزامن.
البحث الأكاديمي ففيديوهات الذكاء الاصطناعي: الأوزان المفتوحة المصدر لـ MoE خاص بالفيديو وبمئات المليارات كتوفّر للوسط الأكاديمي خط أساس قابل لإعادة الإنتاج لدراسة التوسّع.
النشر الخاص فالشركات: النموذج، المبني على رخصة Apache 2.0، كيدعم القطاعات الحساسة بحال المالية والصحة فبناء قدرات خاصة لتوليد الفيديو.
التوليد الفوري للبث المباشر: التفعيل المتناثر كيخفض تكلفة الاستدلال، وكيقدر يدعم توليد الفيديو الفوري بزمن استجابة منخفض وسيناريوهات البث المباشر.