DuoMatching خدام

DuoMatching هو إطار لتقطير توليد الفيديو بعدد قليل من الخطوات، طوّراتو MMLab ديال الجامعة الصينية فهونغ كونغ بشراكة مع ByteDance. مع الحفاظ على الاتساق الزمني بفضل أستاذ الفيديو، كيدخل نموذج صور مجمّد باش يراقب جودة كل إطار والمحاذاة الدلالية، وكيستعمل LatentBridge لربط الفضاءات الكامنة، وLVS لاختيار الإطارات الرئيسية للمراقبة، وهاد الشي كيحسّن تفاصيل الصورة واتباع التعليمات. DuoMatching ما كيزيدش فتكلفة الاستدلال، ومجموعو فـVBench كيوصل لـ83.53 عند التوليد بجوج خطوات.

تحسين جودة الإطار الواحد: كيعالج مشاكل ضبابية أو ضياع تفاصيل بحال الشعر، والملمس، والمواد فالتوليد القليل الخطوات.
تعزيز المحاذاة الدلالية: كيحسّن قدرة النموذج على اتباع التعليمات، وكيقلّل من حالات اختفاء العناصر والأخطاء فالألوان.
الحفاظ على الأداء الزمني: مع تحسين جودة الإطار الواحد، كيحافظ بشكل أساسي على الاتساق بين الإطارات وقدرة الحركة فالفيديو.
دعم التوليد القليل الخطوات: يمكن استعمالو فالتوليد بجوج أو 4 خطوات، باش يلائم التطبيقات الفورية أو التفاعلية.
ما كيزيدش فتكلفة الاستدلال: أستاذ الصورة كيساهم غير فالتدريب، والنموذج الطالب من بعد النشر ما كيحتاجش يشغّل نموذج الصورة بشكل إضافي.

تبعونا فـWeChat وجاوبو بـ“开源” باش تنضمو لمجموعة التواصل ديال مشاريع الذكاء الاصطناعي مفتوحة المصدر
مطابقة التوزيع المشترك والهامشي: بالإضافة لـDMD المشترك التقليدي، كيزيد DuoMatching تقنية DMD الهامشية: أستاذ الفيديو مسؤول على مطابقة التوزيع المشترك للفيديو كامل، والحفاظ على الجودة الزمنية وجودة الحركة؛ وأستاذ الصورة المجمّد مسؤول على مطابقة التوزيع الهامشي للإطارات المختارة، وتحسين جودة الإطار والمحاذاة الدلالية. الخسارتان كيدرّبو النموذج الطالب بشكل مشترك، والوزن الافتراضي للخسارة الهامشية هو 0.4.
LatentBridge كيربط الفضاءات الكامنة ديال الفيديو والصورة: حيث إن بنية latent ديال VAE الفيديو وVAE الصورة ما متوافقةش، كيستعمل DuoMatching وحدة LatentBridge فيها تقريباً 1075万 بارامتر، وكتحوّل مباشرة شرائح video latent لفضاء latent ديال أستاذ الصورة. كتتدرّب الوحدة مسبقاً بخسارة إعادة البناء L1، وهاد الشي كيتفادى الكلفة الكبيرة فالذاكرة الناتجة عن فك الترميز لـRGB ومن بعد إعادة الترميز، وكيخلّي أستاذ الصورة يراقب النموذج الطالب ديال الفيديو بفعالية.
LVS لتحسين اختيار المراقبة على مستوى الإطارات: كتقسّم Latent Variation Sampling مقاطع الفيديو حسب قوة التغيّر بين الشرائح الكامنة المتجاورة، ومن بعد كتختار إطارات للمراقبة من كل مقطع. افتراضياً، كيتاخدو 4 شرائح كامنة من كل فيديو. مقارنةً بالاختيار العشوائي، كتقلّل هاد الطريقة من تركّز المراقبة فالمشاهد الساكنة، وكتوزّع ميزانية المراقبة المحدودة على المحتوى اللي فيه تغيّر أكبر.

وجد بيئة التشغيل: حضّر بطاقة NVIDIA كدعم CUDA، وركّب بيئة Python 3.10.
نزّل وثبّت المشروع: كلون مستودع DuoMatching، وثبّت PyTorch وFlashAttention والاعتماديات المطلوبة للمشروع.
نزّل ملفات النماذج: جيب المكوّنات الأساسية Wan2.1-T2V-1.3B والأوزان الرسمية ديال DuoMatching، وحطّهم فالمجلدات الافتراضية ديال المستودع.
وجد التعليمات: أنشئ ملف نصي بترميز UTF-8 وكتب تعليمة فكل سطر، أو استعمل مباشرة الملف الرسمي prompts/demos.txt.
بدا توليد الفيديو: شغّل inference.py، وحدّد فالأمر إعدادات الاستدلال، وأوزان النموذج، وملف التعليمات، ومجلد الإخراج.
شوف النتائج: غادي تلقى الفيديو فمجلد الإخراج، والمثال الرسمي كينتج افتراضياً 21 إطاراً، ويمكنك تحدّد عدد الإطارات وبذرة عشوائية.

تحسين واضح فجودة الإطار الواحد: بفضل المراقبة المستقلة على مستوى الإطار، كيتحسّنو تفاصيل بحال الشعر والملمس والمواد اللي كتضيع فالتوليد القليل الخطوات.
اتباع التعليمات بدقة أكبر: بالاستفادة من الأوليات الدلالية ديال نموذج الصورة، كتقل حالات اختفاء العناصر، وأخطاء الألوان، وانحراف التكوين.
ما كيزيدش فتكلفة الاستدلال: أستاذ الصورة كيساهم غير فالتدريب، والنموذج الطالب من بعد النشر ما كيحتاجش خطوات استدلال أو حسابات إضافية.
الجمع بين الجودة والقدرة على الحركة: مع تحسين الجودة البصرية والمحاذاة الدلالية، كيبقى الاتساق الزمني وأداء الحركة فالفيديو محفوظين بشكل أساسي.
الاستفادة المستمرة من تطور نماذج الصور: تبديل أستاذ الصورة بنموذج أقوى يقدر يرفع من أداء النموذج الطالب، وغالباً كيحتاج إعادة تدريب LatentBridge المقابل.

الموقع الرسمي: https://johnzhan2023.github.io/DuoMatching/
مستودع GitHub: https://github.com/JohnZhan2023/DuoMatching
مستودع النماذج فـHuggingFace: https://huggingface.co/JohnZhan/DuoMatching
البحث التقني فـarXiv: https://arxiv.org/pdf/2610.03543

التفاعل الفوري والتوليد فالبث المباشر: بفضل الخطوات القليلة والتأخير المنخفض، يمكن توليد فيديوهات سريعة للحركات والتعابير ديال الشخصيات الرقمية، والمذيعين الافتراضيين، والبث التفاعلي.
إنتاج محتوى الإعلانات والتجارة الإلكترونية: تحسين دقة توليد مواد المنتجات وألوانها والعناصر المحددة، وتقليل عدم التطابق بين مشاهد الإعلان والتعليمات الإبداعية.
المعاينة المسبقة للمسلسلات القصيرة والرسوم المتحركة: توليد لوحات القصة والعينات المتحركة بسرعة، ومساعدة المبدعين على اختبار حركات الشخصيات، وتصميم اللقطات، والتأثيرات البصرية بتكلفة منخفضة.
توليد محتوى الألعاب والعوالم الافتراضية: توفير نماذج أولية سريعة للفيديوهات الانتقالية، وحركات الشخصيات، والمشاهد الافتراضية، وتحسين كفاءة توليد المحتوى التفاعلي.
خدمات توليد الفيديو بعدد كبير من الطلبات المتزامنة: تحسين جودة النماذج القليلة الخطوات بلا زيادة فتكلفة الاستدلال، وهاد الشي مناسب للمنصات اللي خاصها توازن بين سرعة التوليد، وكلفة الخدمة، وجودة المخرجات.