JD.com bugun o‘zida ishlab chiqilgan real vaqt rejimida oqimli video tahrirlash modeli JoyAI-Video-Edit’ni ochiq manbaga chiqarganini e’lon qildi. Foydalanuvchilar videoni tomosha qilish bilan birga undagi qahramonlar va sahnalarni o‘zgartirishi mumkin. Bu video yaratishni “avval material tayyorlash, keyin tahrirlash”dan real vaqt rejimida interaktiv tahrirlashga aylantiradi.
JD.com rasmiy ma’lumotiga ko‘ra, oqimli real vaqt video tahrirlash yo‘nalishida JoyAI-Video-Edit sohadagi yetakchi modellar bilan taqqoslaganda barcha ko‘rsatkichlar bo‘yicha ustun bo‘lib, jahon darajasidagi natijalarni namoyish etadi.
Videoni real vaqt rejimida tahrirlashda avvalo tezlik muammosini hal qilish kerak. Video ketma-ket kadrlardan tashkil topadi. Agar modelni qayta ishlash tezligi ijro tezligiga yetib bormasa, qotib qolish va kechikishlar yuzaga keladi. To‘liq o‘zida ishlab chiqilgan JoyAI-Video modeli asosidagi JoyAI-Video-Edit 720P aniqlikda soniyasiga 30 kadr tezlikda xulosa chiqaradi. U yuqori tasvir aniqligini saqlagan holda, odatiy kino va televideniye videolarining ijro tezligiga hamohang ishlay oladi.
Video davomiyligi ham oqimli tahrirlash uchun muhim to‘siqlardan biridir. Avvalgi oqimli tahrirlash modellari faqat bir necha soniya yoki daqiqalik lavhalarni qayta ishlay olgan bo‘lsa, JoyAI-Video-Edit istalgan davomiylikdagi barqaror oqimli tahrirlashni qo‘llab-quvvatlaydi va video ijrosi davomida uzluksiz qayta ishlaydi. Foydalanuvchilar butun video yaratilishini kutmasdan, uni tomosha qilish jarayonida sahnalarni o‘zgartirishi, obyektlarni almashtirishi, qahramon ko‘rinishini sozlashi yoki tasvir uslubini almashtirishi mumkin. Shu tariqa “tomosha qilish bilan birga ijod qilish” imkoniyati paydo bo‘ladi.
Masalan, ijodkor videodagi qahramonning kiyimini ketma-ket almashtirishi, jonli efir davomida oddiy ko‘chani animatsion dunyoga aylantirishi, shuningdek, uy interyeri dizaynida turli mebellar, devorlar va yoritish effektlarini sinab ko‘rishi mumkin.
Model imkoniyatlarini baholash uchun tadqiqot guruhi JoyAI-Video-Edit’ni xalqaro miqyosda mashhur SANA Streaming, LiveEdit, Xmax-X2.0 va boshqa oqimli video tahrirlash modellari bilan taqqosladi. Natijalar shuni ko‘rsatdiki, tipik video tahrirlash ssenariylarini qamrab olgan baholash ma’lumotlarida JoyAI-Video-Edit umumiy natija bo‘yicha to‘liq ustunlikka ega.
Sohadagi nufuzli OpenVE-Bench umumiy baholashida model hozirgi barcha oqimli tahrirlash usullaridan o‘zib ketdi. U umumiy uslub, mahalliy almashtirish, mahalliy o‘chirish va subtitrlarni tahrirlash kabi vazifalarda ayniqsa katta ustunlik ko‘rsatib, sohadagi o‘xshash modellardan sezilarli darajada ilgariladi.
JoyAI-Video-Edit faqat video ijodkorligi bilan cheklanmaydi, balki mujassamlangan intellekt uchun ma’lumotlarni keng ko‘lamda sintez qilishga yangi texnik yo‘l ham taqdim etadi. Robotlarni o‘qitish uchun obyektlarni ushlash, tashish va boshqarishga oid ko‘plab videolar kerak bo‘ladi, biroq real robot ma’lumotlarini yig‘ish qimmatga tushadi, xavfli yoki kam uchraydigan sahnalarni esa qayta-qayta yozib olish qiyin. Sahnalar, obyektlar va tasvir mazmunini boshqariladigan tarzda tahrirlash imkoniyatiga tayangan holda, JoyAI-Video-Edit inson qo‘li bilan bajarilgan amallar videosini mexanik qo‘l yoki robot manipulyatori amallari materialiga aylantira oladi. Obyektlarning joylashuvi, fazoviy munosabatlari va harakat trayektoriyasini saqlagan holda sahna, obyekt va robot shaklini almashtirish orqali u bitta videoni ko‘proq o‘quv namunalariga kengaytiradi.
JoyAI-Video-Edit’ning ochiq manba manzillari:
https://huggingface.co/jdopensource/JoyAI-Video-Edit
https://github.com/jd-opensource/JoyAI-Video-Edit