أعلنت JD.com اليوم على فتح مصدر نموذجها المطوّر داخلياً لتحرير الفيديو بالبث المباشر JoyAI-Video-Edit، اللي كيخلّي المستخدم يتفرج فالفيديو ويبدّل الشخصيات والمشاهد فالنفس الوقت، باش يتحول إبداع الفيديو من «كنوجد المادة ومن بعد كنعدّلها» لتحرير تفاعلي وآني.
وقالت JD.com رسمياً إن JoyAI-Video-Edit، فمجال تحرير الفيديو بالبث المباشر، كيتفوّق بشكل شامل على النماذج البارزة الحالية فالصناعة، وكيحقق مستوى عالمي رائد.
أول مشكل خاص يتحل فإتحرير الفيديو بالوقت الحقيقي هو السرعة. الفيديو مكوّن من صور متتابعة إطار بإطار، وإذا ما قدرش النموذج يعالج بسرعة كتوازي سرعة التشغيل، غادي يوقع التقطّع والتأخير. JoyAI-Video-Edit مبني على نموذج JoyAI-Video المطوّر بالكامل داخلياً، وكيحقق بدقة 720P سرعة استدلال قدرها 30 إطار فالثانية، مع الحفاظ على وضوح مزيان للصورة ومواكبة إيقاع تشغيل الفيديوهات السينمائية والتلفزيونية العادية.
مدة الفيديو حتى هي عتبة فطريق التحرير بالبث المباشر. فالسابق، كانت نماذج التحرير بالبث المباشر كتقدر غير تتعامل مع مقاطع مدتها بضع ثواني أو دقائق، أما JoyAI-Video-Edit فكيدعم تحريراً مستقراً بالبث المباشر لمدة غير محدودة، وكيقدر يواصل المعالجة مع استمرار تشغيل الفيديو. المستخدم ما بقاش مضطر يستنى حتى يتولد الفيديو كامل، ويقدر يبدّل المشاهد، ويعوّض الأشياء، ويعدّل شكل الشخصيات أو يغيّر أسلوب الصورة فالحين أثناء المشاهدة، باش «يتفرج ويبدع فالنفس الوقت».
مثلاً، يقدر المبدع يخلي الشخصيات اللي فالفيديو تبدّل اللباس ديالها بشكل متواصل، ويحوّل زنقة عادية لعالم كرتوني فالبث المباشر، ويقدر حتى يجرّب أثاثاً وحيوطاً وإضاءة مختلفة فتصميم الدار.
باش يقيّم فريق البحث قدرات النموذج، قارن JoyAI-Video-Edit مع SANA Streaming وLiveEdit وXmax-X2.0، وهي نماذج دولية بارزة لتحرير الفيديو بالبث المباشر. وبيّنت النتائج أنه فبيانات التقييم اللي كتغطي سيناريوهات نموذجية لتحرير الفيديو، كان الأداء العام ديال JoyAI-Video-Edit متفوّقاً بشكل شامل.
وفالتقييم العام الموثوق ديال الصناعة OpenVE-Bench، تفوّق النموذج على جميع طرق التحرير بالبث المباشر المتوفرة حالياً، وكانت الأفضلية ديالو واضحة خصوصاً فمهام الأسلوب العام، والتعويض الموضعي، والحذف الموضعي، وتحرير الترجمة، متقدماً بفارق كبير على النماذج المماثلة فالصناعة.
وماشي غير فإبداع الفيديو، بل JoyAI-Video-Edit كيوفر حتى مساراً تقنياً جديداً لتوليد بيانات الذكاء الاصطناعي المجسّد على نطاق واسع. تدريب الروبوتات كيحتاج لعدد كبير من فيديوهات التقاط الأشياء ونقلها والتعامل معها، ولكن جمع البيانات من الروبوتات الحقيقية مكلف بزاف، وزيد عليها أن المشاهد الخطيرة أو النادرة صعيب يتعاود جمعها. وبفضل القدرة على التحكم فالمشهد والأشياء ومحتوى الصورة وتعديلو، يقدر JoyAI-Video-Edit يحوّل فيديوهات التعامل باليد إلى مواد كتبيّن تعامل يد آلية أو ذراع آلية، مع الحفاظ على مواقع الأشياء والعلاقات المكانية ومسارات الحركة، ويعوّض المشاهد والأشياء وأشكال الروبوتات، باش يوسّع فيديو واحد إلى عينات تدريب أكثر.
رابط المصدر المفتوح ديال JoyAI-Video-Edit:
https://huggingface.co/jdopensource/JoyAI-Video-Edit
https://github.com/jd-opensource/JoyAI-Video-Edit