JoyAI-Video-Edit خدام

JoyAI-Video-Edit هو موديل مفتوح المصدر من JD لتحرير الفيديو بالبثّ المباشر، طوّراتو JD، وكيعتمد على بنية انتشار ذاتية الانحدار بـ16B من المعاملات. كيحقّق سرعة استدلال بـ30FPS بدقّة 720P، وكيقدر يحرّر الفيديو بشكل مستقر بالبثّ مهما كانت مدّتو. يقدر المستخدم يبدّل الشخصيات، والمشاهد، والأساليب، والعناصر فالحين أثناء تشغيل الفيديو باستعمال تعليمات باللغة الطبيعية، بلا ما يستنّى حتى يتولّد الفيديو كامل. فاختبار OpenVE-Bench، تفوّق الموديل على جميع طرق التحرير بالبثّ، وتصدّر فمختلف المؤشرات، كما كيقدّم مسارا لتوليد كميات كبيرة من البيانات الخاصة بالذكاء المتجسّد.

التحرير بالبثّ المباشر: كيتعدّلو إطارات الفيديو فور وصولها، بلا حاجة لمعرفة التسلسل كامل من قبل.
التحكم فالتعليمات المفتوحة: كيدعم نقل الأسلوب العام، وزيادة وحذف وتعديل العناصر بشكل جزئي، وتبديل الخلفية، وتعديل الحركة، والتحرير الموجّه بصورة مرجعية.
معالجة الفيديو مهما كانت مدّتو: كيتجاوز حدود الثواني أو الدقائق، وكيواصل التحرير المستقر مع استمرار تشغيل الفيديو.
نشر عالي الإنتاجية بجودة 720P: الـpipeline من البداية للنهاية كيوصل لـ30.19 FPS بدقّة 720×1280.
قدرات تحرير متعدّدة الأبعاد: كيشمل تبديل ملابس الشخصيات، وتغيير المشاهد، وتحويل الأساليب، وتبديل العناصر، وتحرير الترجمة وغيرها من المهام.

تبعو الحساب ديال WeChat وردّو بـ“开源” باش تنضمو لمجموعة التواصل ديال مشاريع الذكاء الاصطناعي مفتوحة المصدر
مشفّر شرطي مبني على MLLM: كيوظّف نموذج لغوي كبير متعدد الوسائط لترميز التعليمات باللغة الطبيعية كشروط للتحرير، وكيتيح تحكّما دلاليا مفتوحا.
VAE سببي للفيديو: كيستعمل بنية زمنية سببية فالمشفّر التلقائي المتغيّر لضغط إطارات الفيديو وإعادة بنائها، مع الحفاظ على الاتساق الزمني فسيناريوهات البثّ.
عمود فقري MMDiT بـ16B من المعاملات: كيستعمل Transformer انتشار متعدد الوسائط بـ16B كنواة، وكيجمع بين الخصائص النصية والبصرية لتوليد انتشار ذاتي الانحدار.
تقطير مطابقة التوزيع الذاتي الانحدار: كيسرّع الاستدلال عبر استراتيجية تقطير كتوافق التوزيعات الذاتية الانحدار، وكيقلّل بشكل كبير الفرق بين توزيعات التدريب والاستدلال.
تحسين المجال الزمني الطويل واستدلال KV محدود: كيدمج تحسينات للاستقرار فالمجال الزمني الطويل وآلية تخزين مؤقت KV محدودة، باش يحدّ من الانجراف الزمني المتراكم ويحافظ على إنتاجية عالية.

تحضير البيئة: صايب بيئة Conda بـpython=3.10 وثبّت التبعيات الموجودة فـrequirements.txt.
تحميل الأوزان: حمّل ملفات الموديل من Hugging Face وحطّ نقاط التحقّق حسب بنية المجلدات المحدّدة.
تشغيل الخدمة: دخل لمجلد deploy ونفّذ bash run_server.sh باش تشغّل الخادم المحلي.
الدخول للواجهة: حلّ http://localhost:8080 فالمتصفح باش تدخل لواجهة التحرير التفاعلية.
التحرير فالحين: حمّل فيديو أو ربط بثّ الكاميرا، ومن بعد دخل تعليمات باللغة الطبيعية باش تعدّل الفيديو وهو كيتشغّل.

التحرير بالبثّ المباشر: كيتعالج كل إطار فور وصولو، بلا ما يستنّى التسلسل كامل، وكيحقّق تجربة تفاعلية حقيقية ديال ”التعديل مع التشغيل“.
الجودة والسرعة بجوج مزيانين: كيوصل الاستدلال من البداية للنهاية لـ30.19 FPS بدقّة 720P، وكيَفوت جميع طرق التحرير بالبثّ والتحرير غير المتصل فاختبار OpenVE-Bench.
إخراج مستقر مهما كانت المدّة: كيتجاوز القيود ديال الموديلات التقليدية اللي كتدعم غير مقاطع من ثواني أو دقايق، وكيقدر يواصل التحرير المستقر بلا انجراف مع استمرار تشغيل الفيديو.
تحكم دلالي مفتوح: بفضل المشفّر الشرطي المبني على MLLM، كيدعم تحرير الأسلوب العام، والعناصر الجزئية، وتبديل الخلفية، والتحرير الموجّه بصورة مرجعية باستعمال تعليمات باللغة الطبيعية.
بنية استدلال فعّالة: Transformer انتشار ذاتي الانحدار بـ16B من المعاملات، مع تقطير مطابقة التوزيع وتخزين مؤقت KV محدود، كيقلّل بشكل كبير الفرق بين التدريب والاستدلال وكيحدّ من الأخطاء الزمنية المتراكمة.

مستودع GitHub: https://github.com/jd-opensource/JoyAI-Video-Edit
مستودع موديل HuggingFace: https://huggingface.co/jdopensource/JoyAI-Video-Edit
الورقة التقنية على arXiv: https://arxiv.org/pdf/2608.03974

صناعة الفيديوهات القصيرة: يقدر صانع المحتوى يبدّل ملابس الشخصيات ويعدّل أسلوب المشاهد فالحين أثناء تشغيل الفيديو، وهاد الشي كيرفع فعالية إنتاج المحتوى.
المؤثرات الفورية فالبثّ المباشر: يقدر مقدّم البثّ يبدّل الخلفية أو يزيد عناصر افتراضية وهو كيبثّ، باش يحقّق تحسينات بصرية تفاعلية.
تهيئة المنازل والتصميم الداخلي: يقدر المستخدم يبدّل الأثاث، ومواد الجدران، وتأثيرات الإضاءة فالحين وهو كيتفرّج على فيديو الغرفة، باش يعاونو فاختيارات الديكور.
المعاينة المسبقة لمرحلة ما بعد الإنتاج السينمائي: يقدر المخرج يجرّب بسرعة أساليب بصرية مختلفة وتبديلات للمشاهد أثناء المونتاج، وكيقلّل تكلفة التجربة والخطأ.
توليد بيانات للذكاء المتجسّد: كيحوّل فيديوهات العمليات اليدوية إلى مواد خاصة بعمليات الأذرع الروبوتية، وكيكبّر حجم بيانات تدريب الروبوتات بتكلفة منخفضة.