JoyAI-Video-Edit Faoliyat yuritmoqda

JoyAI-Video-Edit — JD.com tomonidan ochiq kodda taqdim etilgan real vaqt rejimidagi oqimli video tahrirlash modeli. U 16B parametrli autoregressiv diffuziya arxitekturasiga asoslangan bo‘lib, 720P ruxsatda 30 FPS inferens tezligini ta’minlaydi va istalgan davomiylikdagi videolarni barqaror oqimli tahrirlashni qo‘llab-quvvatlaydi. Foydalanuvchilar video ijro etilayotgan paytda tabiiy til buyruqlari orqali personajlar, sahnalar, uslub va obyektlarni real vaqt rejimida o‘zgartirishi mumkin, buning uchun videoning to‘liq generatsiyasini kutish shart emas. OpenVE-Bench baholashida model barcha oqimli tahrirlash usullaridan ustun kelib, barcha ko‘rsatkichlarda yetakchilik qildi. Shuningdek, u embodied intelligence uchun katta hajmdagi ma’lumotlarni sintez qilish yo‘lini taqdim etadi.

Real vaqt rejimidagi oqimli tahrirlash: video kadrlari kelishi bilan darhol tahrirlanadi, to‘liq ketma-ketlikni oldindan bilish talab etilmaydi.
Ochiq turdagi buyruqlar orqali boshqaruv: global uslubni ko‘chirish, mahalliy obyektlarni qo‘shish, o‘chirish va o‘zgartirish, fonni almashtirish, harakatni sozlash hamda referens tasvir yordamida tahrirlashni qo‘llab-quvvatlaydi.
Istalgan davomiylikdagi ishlov: soniya yoki daqiqa bilan cheklanishni bartaraf etib, video ijrosi davomida uzluksiz va barqaror tahrirlash imkonini beradi.
720P yuqori o‘tkazuvchanlikdagi joylashtirish: uchdan uchgacha pipeline 720×1280 ruxsatda 30.19 FPS tezlikka erishadi.
Ko‘p yo‘nalishli tahrirlash: personaj kiyimini almashtirish, sahnani o‘zgartirish, uslubni almashtirish, obyektlarni almashtirish va subtitrlarni tahrirlash kabi vazifalarni qamrab oladi.

WeChat’da kuzatib, “开源” deb javob yuboring va AI ochiq kodli loyihalar guruhiga qo‘shiling.
MLLM shartli kodlagichi: multimodal katta til modeli yordamida tabiiy til buyruqlarini tahrirlash shartlariga kodlaydi va ochiq turdagi semantik boshqaruvni ta’minlaydi.
Kauzal video VAE: kauzal vaqt tuzilmasiga ega variatsion avtokodlagich video kadrlarini siqish va qayta tiklash uchun ishlatiladi, bu oqimli vaziyatlarda vaqt izchilligini ta’minlaydi.
16B parametrli MMDiT backbone: 16B parametrli multimodal diffuziya Transformer’ini asos sifatida qo‘llab, matn va vizual xususiyatlarni birlashtirgan holda autoregressiv diffuziya generatsiyasini amalga oshiradi.
Autoregressiv taqsimotni moslashtirish distillyatsiyasi: autoregressiv taqsimotlarni moslashtiruvchi distillyatsiya strategiyasi orqali inferensni tezlashtiradi hamda o‘qitish va inferens taqsimotlari o‘rtasidagi farqni sezilarli kamaytiradi.
Uzoq vaqt oralig‘ini optimallashtirish va chegaralangan KV inferensi: uzoq muddatli barqarorlikni optimallashtirish hamda chegaralangan KV keshi mexanizmini joriy etib, vaqt bo‘yicha to‘planadigan siljishni bostiradi va yuqori o‘tkazuvchanlikni saqlaydi.

Muhitni tayyorlash: python=3.10 bilan Conda muhitini yarating va requirements.txt bog‘liqliklarini o‘rnating.
Og‘irliklarni yuklab olish: model fayllarini Hugging Face’dan oling va checkpoint’larni belgilangan katalog tuzilmasiga joylashtiring.
Xizmatni ishga tushirish: deploy katalogiga kirib, mahalliy serverni ishga tushirish uchun bash run_server.sh buyrug‘ini bajaring.
Interfeysga kirish: brauzerda http://localhost:8080 manzilini ochib, interaktiv tahrirlash interfeysiga kiring.
Real vaqt rejimida tahrirlash: video yuklang yoki kamera oqimiga ulang, so‘ng tabiiy til buyrug‘ini kiriting va videoni tomosha qilish jarayonida tahrirlang.

Real vaqt rejimidagi oqimli tahrirlash: video kadrlari kelishi bilan qayta ishlanadi, to‘liq ketma-ketlikni kutish talab etilmaydi va haqiqiy “tomosha qilayotganda tahrirlash” tajribasini taqdim etadi.
Tezlik va sifat uyg‘unligi: 720P ruxsatda uchdan uchgacha inferens 30.19 FPS tezlikka yetadi va OpenVE-Bench baholashida barcha oqimli hamda oflayn tahrirlash usullaridan ustun keladi.
Istalgan davomiylikda barqaror chiqish: an’anaviy modellarning faqat soniya yoki daqiqalik lavhalarni qo‘llab-quvvatlash cheklovini bartaraf etib, video ijrosi davomida siljishsiz va barqaror tahrirlashni ta’minlaydi.
Ochiq turdagi semantik boshqaruv: MLLM shartli kodlagichiga asoslanib, tabiiy til buyruqlari orqali global uslub, mahalliy obyektlar, fonni almashtirish va referens tasvir yordamidagi tahrirlash kabi ko‘p yo‘nalishli funksiyalarni qo‘llab-quvvatlaydi.
Samarali inferens arxitekturasi: 16B parametrli autoregressiv diffuziya Transformer’i taqsimotni moslashtirish distillyatsiyasi va chegaralangan KV keshi bilan birgalikda o‘qitish hamda inferens o‘rtasidagi farqni sezilarli kamaytiradi va vaqt bo‘yicha to‘planadigan xatolarni bostiradi.

GitHub repozitoriysi：https://github.com/jd-opensource/JoyAI-Video-Edit
HuggingFace model repozitoriysi：https://huggingface.co/jdopensource/JoyAI-Video-Edit
arXiv texnik maqolasi：https://arxiv.org/pdf/2608.03974

Qisqa videolar yaratish: ijodkorlar video ijro etilayotgan paytda personajlar kiyimini real vaqt rejimida almashtirishi va sahna uslubini sozlashi mumkin, bu kontent ishlab chiqarish samaradorligini oshiradi.
Jonli efirdagi real vaqt effektlari: boshlovchi efir davomida fonni almashtirishi yoki virtual elementlar qo‘shishi, interaktiv jonli efir tasvirini kuchaytirishi mumkin.
Uy jihozlash va interyer dizayni: foydalanuvchilar xona videosini ko‘rayotganda mebel, devor materiallari va yoritish effektlarini real vaqt rejimida almashtirib, ta’mirlash bo‘yicha qaror qabul qilishga yordam oladi.
Kino va video postproduksiyasini oldindan ko‘rish: rejissyor montaj bosqichida turli vizual uslublar va sahna almashtirishlarini tezda sinab ko‘rib, xatolar qiymatini kamaytiradi.
Embodied intelligence uchun ma’lumotlar sintezi: inson qo‘llari bilan bajarilgan amallar videolarini robot qo‘li amallari materiallariga aylantirib, robotlarni o‘qitish ma’lumotlari hajmini kam xarajat bilan kengaytiradi.