VDN-MiniMax-H3 خدام

VDN-MiniMax-H3 هو حلّ مفتوح المصدر لتسريع توليد الفيديو طوّراتو فرقة OpenVDN، مبني على تعديل MiniMax-H3. كيستعمل الموديل بنية ديال الانتباه الهجين: نافذة Softmax منزلقة محلية كتحافظ على التفاصيل الدقيقة، وانتباه خطّي بعيد المدى كيتكلف بالسياق الطويل، ومن بعد كيتم تقليص عدد خطوات إزالة الضجيج بشكل كبير بفضل التقطير فـ 8 خطوات. فوق 8 بطاقات NVIDIA B200، كيحتاج الموديل غير لـ 11.23 ثانية باش يولّد فيديو بدقّة 768p ومدّتو تقريباً 14.4 ثانية، بجودة صورة شبه مطابقة بلا خسارة ملحوظة مقارنةً مع Dense H3 الأصلي اللي كيعتمد على 50 خطوة.

بنية الانتباه الهجينة: كتقسم انتباه الفيديو لفرع Softmax محلي وفرع خطي بعيد المدى، باش تجمع بين التفاصيل الدقيقة والسياق طويل المدى.
توليد سريع فـ 8 خطوات: باستعمال تقطير DMD2، تنقصات خطوات إزالة الضجيج من 50 حتى لـ 8 خطوات، وهاد الشي كيختاصر وقت التوليد بزاف.
جودة صورة شبه بلا خسارة: مع توليد فيديو مدتو 14.4 ثانية فـ 11.23 ثانية، كتقرب الجودة البصرية من خط الأساس Dense H3 الأصلي بـ 50 خطوة.
تكييف بالتدريب على 3 مراحل: كيتستعمل المحاذاة طبقة بطبقة، وتكييف الفرع من البداية للنهاية، والتكييف المشترك بـ LoRA، باش يتفادى الاضطراب ديال النموذج المدرّب مسبقاً بسبب التهيئة العشوائية.
توازي مخصص لكل فرع: كيتوزعو فرعا Softmax والخطي على وحدات GPU مختلفة، وكيهبط التأخير بـ 13.3% إضافية مقارنةً بالتوازي Ulysses القياسي.

تابعونا فـوي تشات وجاوبو بـ«开源» باش تنضمو لمجموعة نقاش مشاريع الذكاء الاصطناعي مفتوحة المصدر
بنية الانتباه الهجينة: VDN كيقسم انتباه الفيديو لجوج فروع متكاملين: Softmax محلي وخطي بعيد المدى. الأول كيحافظ على التفاصيل الدقيقة، والثاني كيعالج السياق طويل المدى بتعقيد خطي، وبهذا كيعوض الانتباه التربيعي الكامل.
فرع Softmax المحلي: كيستعمل نافذة منزلقة ثنائية الاتجاه، وكل 5 إطارات كيتجمعو فمجموعة كتركز على الكتل القريبة، مع إدماج الإطارين الأول والأخير كمرساة للحدود. وبهذا، غير بزيادة 3.57% فكثافة الانتباه، كيحافظ على الانسجام الزمني الشامل.
Video Delta Attention: كيطور قاعدة Delta التقليدية من حلّها لكل token بوحدو لحلّ مشترك لكل إطار، بحيث جميع الـtokens المكانية كيساهمو فـتحديد الحالة الجديدة عبر المعادلات العادية. هاد الشي كيخليه غير توسعي بطبيعته وقادر يتكيف مع ترابط الـtokens، بلا حاجة لتصغير حجم الإطار بشكل صارم.
إدماج النص عبر جوج فروع: ففرع Softmax، النص باين عالميا لكل إطار؛ أما فالفرع الخطي، كيتكتب النص مرة وحدة فالحالة ثنائية الاتجاه أثناء التهيئة، لتفادي الحساب المتكرر.
آلية الدمج بالبوابة: مخرجات الفرعين عندها مقاييس مختلفة، لذلك كل فرع مجهز ببوابة Sigmoid مرتبطة بالمحتوى وبإسقاط إخراج مستقل، ومن بعد كيتدمجو. بوابة Softmax كتبقى مجمدة فـالمرحلتين الأوليين ديال التدريب، باش ما يقدرش المحسن ينقص من مساهمة الفرع الأصلي غير باش يهبط الخسارة.
التكييف عبر ثلاث مراحل ديال التدريب: أولا كيتدار المحاذاة ديال الفرع الخطي طبقة بطبقة، من بعد كيتدار التحسين المشترك من البداية للنهاية لجميع الوحدات الهجينة، وفالأخير كيتدار الضبط الدقيق بشكل مشترك بين QKVO LoRA والفرع الخطي. خلال العملية كاملة، كيبقى العمود الفقري المدرّب مسبقا مجمدا، لضمان ما تتهرسش جودة التوليد.

تحضير البيئة: كلونّي مستودع GitHub، ومن بعد صايب بيئة Python 3.12 وثبّت PyTorch 2.13.0 والاعتماديات ديال المشروع.
تحميل الموديل: حمّل أوزان OpenVDN/vdn-minimax-h3 باستعمال ModelScope وخزّنها محلياً فمجلد ckpts.
تشغيل المثال الرسمي: نفّذ scripts/inference/8nfe_tuned_fp8.sh باش تولّد فيديو تجريبي بكارت وحدة.
الاستدلال بعدة كروت: على حساب العتاد، اختار السكريبت 8nfe_tuned_fp8_ulysses_h200.sh ولا b200.sh وخدمو على 8 كروت.
تخصيص البرومبت: استعمل encode_prompt.py باش تستدعي Qwen3-VL-32B وتحول النص لملف خصائص .pt، ومن بعد دوزو لـ infer.py باش تولّد الفيديو.

توليد سريع بزاف: التقطير فـ8 مراحل مع الانتباه الهجين كيخلّي توليد فيديو بجودة 768p ومدّة تقريباً 14.4 ثانية ياخذ غير 11.23 ثانية فوق 8 ديال B200، يعني تسريع بـ74.5 مرة مقارنةً بالموديل الأصلي.
جودة صورة شبه بلا خسارة: التفاصيل البصرية، انسجام العناصر، والقدرة على اتباع التعليمات كيقربو من خط الأساس Dense H3 بـ50 مرحلة، وبفارق واضح على FastH3 بـ4 مراحل.
بنية الانتباه الهجين: Softmax المحلي كيحافظ على التفاصيل الزمنية الدقيقة، والانتباه الخطي بعيد المدى كيعالج السياق طويل المدى بتعقيد خطي، باش يجمع بين الجودة والفعالية.
الحلّ المشترك على مستوى الإطارات (VDA): كيرقّي التحديث من token بوحدو للتحسين المشترك ديال الإطار كامل، مع ارتباط طبيعي غير توسّعي وتكيّفي بين الـtokens، بلا حاجة لتوسيع إجباري.
التكيّف المرحلي المستقر: عبر ثلاث مراحل ديال التدريب، وهي المحاذاة طبقة بطبقة، وتكييف الفروع من البداية للنهاية، والضبط الدقيق المشترك باستعمال LoRA، كيتفادى الاضطراب اللي كيوقع للموديل المدرّب مسبقاً بسبب التهيئة العشوائية.
التوازي المخصّص للفروع: كيوزّع فرعي Softmax وVDA على وحدات GPU مختلفة، وكيقلّل زمن الاستجابة بـ13.3% إضافية مقارنةً بالتوازي القياسي Ulysses.

الموقع الرسمي ديال المشروع: https://openvdn.github.io/
مستودع GitHub: https://github.com/OpenVDN/vdn-minimax-h3
مستودع النموذج فـ HuggingFace: https://huggingface.co/OpenVDN/vdn-minimax-h3

صناعة الفيديو التفاعلي فالحين: التوليد السريع فـ 8 خطوات كيخلّي المبدعين يبدّلو الأوامر فالحين ويعاينو النتيجة مباشرة، وكيقصّر بزاف مدة تطوير الأفكار.
الإنتاج بالجملة لمواد الإشهار والتسويق: التجارة الإلكترونية والعلامات التجارية يقدرو يولّدو بسرعة فيديوهات متعددة لعرض المنتجات وملصقات متحركة، باش يلبّيو الطلب المتكرر على المحتوى فمواسم التخفيضات والعروض.
المعاينة المسبقة للأفلام والستوريبورد المتحرك: المخرجين وفرق الإنتاج يقدرو يولّدو بسرعة رسوم متحركة للقطات قبل التصوير الرسمي، ويتأكدو من لغة الكاميرا، وتوزيع المشاهد، وإيقاع السرد.
توليد المحتوى الديناميكي للألعاب: توليد حركات الشخصيات غير القابلة للّعب، والمقاطع الانتقالية ديال البيئة، ومقاطع قصصية مخصّصة للاعبين فالحين، خصوصاً فألعاب العوالم المفتوحة ولا منصات التواصل الافتراضية.
الإنتاج الصناعي للفيديوهات القصيرة ديال مواقع التواصل: وكالات MCN وصنّاع المحتوى المستقلين يقدرو ينتجو بتكلفة قليلة وبوتيرة عالية فيديوهات قصيرة بحال المقاطع القصصية وVlog ديال الشخصيات الافتراضية.