اليوم، MiniMax ولى مفتوح المصدر رسمياً النموذج الجديد ديال الفيديو العام MiniMax H3.
وحسب ما تم تقديمه، MiniMax H3 هو نظام توليدي عام ومتعدد الوسائط بالكامل. كيقدر يفهم بشكل موحّد السياق متعدد الوسائط المكوّن من النصوص والصور والفيديوهات والصوتيات، ويقدر يولّد فيديوهات بدقّة قصوى 2K، ومدة تصل حتى لـ 15 ثانية، مع صوت ستيريو أصلي. وبفضل تصميم النظام الموجّه لتعميم المهام، كيتوفر H3 من مرحلة التدريب المسبق على قدرات واسعة لفهم وتوليد السياقات متعددة الوسائط، وهاد الشي كيخليه يتبع بشكل ممتاز التعليمات المعقدة متعددة الوسائط.
H3 كيدعم مواصفات الإدخال والإخراج التالية:
مدة الإخراج: من 4 حتى لـ 15 ثانية
نسبة أبعاد الإخراج: كيدعم نسب أبعاد متعددة، بما فيها على سبيل المثال لا الحصر 21:9 و16:9 و4:3 و1:1 و3:4 و9:16
دقّة الإخراج: كيدعم أحجام دقّة متعددة، وكيتم افتراضياً ضبط الضلع الأقصر على 768 بكسل. وباستعمال H3-Regenerate-2K يمكن توليد محتوى بدقّة 2K
معدّل الإطارات: 24 FPS
الصوت الناتج: ستيريو بسرعة 32 kHz
لغات المحادثة المدعومة: كيدعم بشكل مستقر 11 لغة: العربية والصينية والإنجليزية والفرنسية والألمانية والإيطالية واليابانية والكورية والبرتغالية والروسية والإسبانية. وكيوفّر حتى للغات الأخرى دعماً بدرجات متفاوتة.
إصدارات النموذج ومواصفات الإدخال:
① H3-Base-FL2VA
نمط الإطارين الأول والأخير: كيدعم إدخال 0 أو 1 أو 2 صور:
إلى ما دخلات حتى صورة، كيكون النمط من النص إلى الفيديو؛
إلى دخلات صورة الإطار الأول، كيكون النمط من الإطار الأول إلى الفيديو؛
إلى دخلات صورة الإطار الأخير، كيكون النمط من الإطار الأخير إلى الفيديو؛
إلى دخلات صورة الإطار الأول وصورة الإطار الأخير بجوج، كيكون النمط من الإطارين الأول والأخير إلى الفيديو
② H3-Base-Ref2VA
نمط المرجع متعدد الوسائط بالكامل:
الصور: حتى لـ 9 صور كأقصى حد؛
الفيديوهات: حتى لـ 3 مقاطع؛ خاص مدة كل مقطع تكون من 2 حتى لـ 15 ثانية، والمجموع ما يفوتش 15 ثانية؛
الصوتيات: حتى لـ 3 مقاطع. خاص الصوت يدخل مع صورة أو فيديو، وما يقدرش يكون هو الإدخال الوحيد؛ خاص مدة كل مقطع تكون من 2 حتى لـ 15 ثانية، والمجموع ما يفوتش 15 ثانية؛
الإدخال المختلط: المجموع الأقصى ديال ملفات الإدخال من جميع الأنواع هو 12 ملفاً
نظام H3 الكامل كيتكوّن من الوحدات الثلاثة التالية:
H3-Contex t-IR: مع ازدياد تعقيد المدخلات، بنينا نظاماً مخصّصاً للفهم العميق واستخلاص التعليمات متعددة الوسائط من المدخلات، وتحويلها إلى صيغة أسهل على H3 يفهمها ويمكن استعمالها مباشرة فالتوليد، وهي Context Intermediate Representation (التمثيل الوسيط للسياق). H3-Context-IR مهم بزاف لجودة النتيجة النهائية. لذلك كننصحوا بقوة بدمج H3-Context-IR API فمسار التوليد. أو تقدروا تعتمدوا على دليل صياغة التعليمات باش تبنيو نظام معالجة السياق ديالكم.
H3-Base: كيولّد الصوت والفيديو اعتماداً على مخرجات H3-Context-IR، وكيخرج نتائج بدقّة 768p.
H3-Regenerate-2K: كيرجع النتيجة المولّدة بدقّة 768p، مع السياق الأصلي كامل، لـ H3 باش يعاود يولّد الإخراج بدقّة 2K. هاد الشي كيستافد من القدرات التوليدية القوية ديال H3، وكيستغل كذلك المعلومات الغنية الموجودة فالسياق الأصلي، باش يولّد نتائج عالية الدقّة بتفاصيل أدق ووفاء بصري أكبر.
تم إصدار MiniMax H3 بناءً على MiniMax H3 Community License.
رابط المصدر المفتوح: huggingface.co/MiniMaxAI/MiniMax-H3