InstructAV2AV – موديل التحرير المشترك ديال الصوت والصورة مفتوح المصدر من智源 وجامعة بكين خدام

InstructAV2AV هو موديل للتحرير المشترك ديال الصوت والصورة، طوّراتو بشكل مشترك أكاديمية بكين智源 للذكاء الاصطناعي وجامعة بكين. المستخدم غير كيحتاج تعليمة وحدة باللغة الطبيعية باش يحرّر فآنٍ واحد صورة الفيديو والصوت الموافق ليها خلال عملية التوليد من البداية للنهاية، بلا ما يحتاج ماسكات يدوية ولا معالجة على مراحل. الموديل كيدعم تبديل الكلام، وتعويض الأشخاص، وإضافة وحذف العناصر، وكيقدر يحافظ على الخلفية والأصوات المحيطة بلا تغيير، مع الحفاظ على التزامن بين الصوت والصورة.

تعديل الصوت مع الحفاظ على الهوية: تبديل الكلام ديال الشخص مع الإبقاء على مظهرو.
تعويض مثيلات الصوت والصورة: تبديل شخص محدد فالصورة مع الصوت والكلام ديالو كاملين.
إدخال المثيلات: إضافة عنصر جديد للصورة وتوليد صوت متزامن معاه بشكل تلقائي.
حذف المثيلات: حذف عنصر محدد والصوت الموافق ليه فالمسار الصوتي.
التحرير المركب للخصائص: يمكن تعديل مظهر الشخص، ومحتوى كلامو، ونبرة صوتو بشكل مستقل، ومن بعد تركيبهم بحرية.

تابع 微信 وردّ بـ“开源” باش تنضم لمجموعة التواصل ديال مشاريع الذكاء الاصطناعي مفتوحة المصدر
تركيب المتغيرات الكامنة المصدرية: كيتجمعو المتغيرات الكامنة ديال الفيديو والصوت المصدرَين مع الضجيج على امتداد بُعد القنوات، وكيولي المحتوى المصدر شرطاً بنيوياً فعملية إزالة الضجيج كاملة. هاد الشي كيقيد الموديل باش يحافظ على الخلفية، والعناصر اللي ماشي معنية، والأصوات المحيطة، وكيجنب مبدأ “بدّل هدف واحد وما تعاودش ترسم العالم كامل”.
الانتباه الموجّه SIGA: آلية Source-Instruction Gated Attention كتخلي كل token يتفاعل فآنٍ واحد مع خصائص المصدر وخصائص التعليمة. ومن خلال بوابة لينة قابلة للتعلم، كتحدد فكل موضع شحال يتبدل وشحال يبقى، وكتحقق توازناً ديناميكياً بين الحفاظ على المحتوى وتنفيذ التعليمة.
بنية التفاعل ثنائي التدفق: اعتماداً على Ovi Symmetric Dual-Stream Diffusion Transformer، كيتنمذج كل فرع، ديال الفيديو وديال الصوت، بالانتباه الذاتي، ومن بعد كيتبادلو الخصائص عبر الانتباه ثنائي الاتجاه بين الوسائط، باش الحركة البصرية وأحداث الصوت يقيدو بعضياتهم ويحافظو على التزامن.
التدريب على جوج مراحل: كيتسدّ الانتباه بين الوسائط وكيتم تدريب قدرات التحرير أحادية الوسيط بشكل منفصل، ومن بعد كتترجع البنية الكاملة وكيتم الضبط المشترك، باش يتعلم الموديل العلاقات الدقيقة بين الصوت والصورة.
خط أنابيب أوتوماتيكي للبيانات: كيتبنى معطى InsAVE-80K عبر ثلاث مراحل: فرز المواد، وتركيب أهداف التحرير، والتقييم الأوتوماتيكي بخمسة أبعاد مع المراجعة البشرية. وهاد الشي كيحل مشكل ندرة بيانات التدريب المزدوجة.

استنساخ الكود: استنسخ مستودع كود InstructAV2AV من GitHub للحاسوب المحلي.
إعداد البيئة: تبع شرح المستودع لإعداد بيئة Python وتثبيت الاعتماديات المطلوبة.
تحميل الأوزان: حمّل أوزان موديل InstructAV2AV من Hugging Face.
تحضير المواد: وجد فيديو فيه الصوت باش تستعملو كمدخل.
إدخال التعليمة: دخل تعليمة وحدة باللغة الطبيعية كتشرح شنو بغيتي تبدل.
تشغيل الاستدلال: شغّل سكريبت الاستدلال وتسنى حتى يولّد الموديل الفيديو والصوت من بعد التحرير.
حفظ النتيجة: شوف النتيجة الخارجة وحفظ ملف الصوت والصورة من بعد ما يكمل التحرير.

الموقع الرسمي ديال المشروع: https://hjzheng.net/projects/InstructAV2AV/
مستودع GitHub: https://github.com/suimuc/InstructAV2AV
مستودع الموديل على HuggingFace: https://huggingface.co/suimu/InstructAV2AV
البحث التقني على arXiv: https://arxiv.org/pdf/2605.18467

ما بعد إنتاج الأفلام: العاملين فمرحلة ما بعد الإنتاج يقدرو يبدلو كلام الممثلين مع مزامنة حركة الشفاه، وهاد الشي كيقلل من تكلفة إعادة التصوير.
صناعة الفيديوهات القصيرة: صناع الفيديوهات القصيرة يقدرو يبدلو الأشخاص والأصوات فالمواد بتعليمة وحدة، وكيزيدو من نجاعة الإبداع.
الشخصيات الافتراضية: فرق تسيير الشخصيات الافتراضية يقدرو يعدلو مظهر الشخصيات الرقمية، ونبرة صوتها، ومحتوى كلامها.
ابتكار الإعلانات: المهنيين فمجال الإعلانات يقدرو يولدو دفعة وحدة نسخاً إعلانية بأشخاص وكلام مختلفين.
إنتاج المحتوى التفاعلي: العاملين فالألعاب والتعليم يقدرو يولدو ديناميكياً مواد متعددة الوسائط متناسقة بين الصوت والصورة.