InstructAV2AV – Zhiyuan va Pekin universiteti hamkorligida ochiq kodga chiqarilgan audio-video qo‘shma tahrirlash modeli Faoliyat yuritmoqda

InstructAV2AV — Pekin Intellektual Sun’iy Intellekt Tadqiqot Instituti va Pekin universiteti hamkorligida ishlab chiqilgan audio-video qo‘shma tahrirlash modeli. Foydalanuvchi bitta tabiiy til ko‘rsatmasi orqali end-to-end generatsiya jarayonida video tasviri va unga mos ovozni bir vaqtning o‘zida tahrirlashi mumkin; qo‘lda maskalash yoki bosqichma-bosqich ishlov berish talab etilmaydi. Model dialogni o‘zgartirish, personajlarni almashtirish, obyektlarni qo‘shish va o‘chirishni qo‘llab-quvvatlaydi, fon va muhit tovushlarini o‘zgartirmagan holda audio-video vaqt sinxronligini saqlaydi.

Shaxsni saqlagan holda ovozni o‘zgartirish: personaj qiyofasini saqlab, faqat uning so‘zlarini almashtirish.
Audio-video obyektini almashtirish: tasvirdagi belgilangan personajni uning ovozi va dialogi bilan birga almashtirish.
Obyekt qo‘shish: tasvirga yangi obyekt qo‘shish va unga mos sinxron ovozni avtomatik yaratish.
Obyektni olib tashlash: belgilangan obyektni va uning audioyo‘lakdagi mos ovozini o‘chirish.
Atributlarni kombinatsiyalangan tahrirlash: personaj ko‘rinishi, so‘zlari va ovoz tembrini alohida o‘zgartirish hamda erkin birlashtirish.

WeChat’da kuzatib boring va “ochiq kod” deb javob yuborib, AI ochiq kod loyihalari guruhiga qo‘shiling
Manba latent o‘zgaruvchilarini birlashtirish: manba video va manba audiosining latent o‘zgaruvchilari shovqin bilan kanal o‘lchami bo‘ylab birlashtiriladi. Shu tariqa manba kontenti butun denoising jarayonining strukturaviy shartiga aylanadi; model fon, aloqasiz obyektlar va muhit tovushlarini saqlab qoladi hamda “bitta nishonni o‘zgartirib, butun dunyoni qayta chizish”ning oldini oladi.
SIGA boshqariladigan diqqati: Source-Instruction Gated Attention har bir tokenni bir vaqtning o‘zida manba xususiyatlari va ko‘rsatma xususiyatlari bilan o‘zaro ta’sirlashadi. O‘rganiladigan yumshoq gate mexanizmi har bir pozitsiyada qancha o‘zgartirish va qancha qismini saqlashni belgilab, kontentni saqlash hamda ko‘rsatmani bajarish o‘rtasidagi dinamik muvozanatni ta’minlaydi.
Ikki oqimli o‘zaro ta’sir arxitekturasi: Ovi simmetrik ikki oqimli diffusion Transformer asosida video va audio tarmoqlari avval o‘z-o‘ziga diqqat orqali modellashtiriladi, so‘ng ikki yo‘nalishli kross-modal diqqat yordamida xususiyatlar almashiladi. Shu orqali vizual harakat va tovush hodisalari bir-birini cheklab, sinxronlikni saqlaydi.
Ikki bosqichli o‘qitish: kross-modal diqqat o‘chirilib, bir modal tahrirlash qobiliyati alohida o‘rgatiladi; keyin to‘liq arxitektura tiklanib, birgalikda nozik sozlanadi va audio-video o‘rtasidagi mayda darajadagi mosliklar o‘rganiladi.
Avtomatlashtirilgan ma’lumotlar pipeline’i: materiallarni saralash, tahrirlash nishonlarini sintez qilish, besh o‘lchovli avtomatik baholash va inson tomonidan tekshirishdan iborat uch bosqich orqali InsAVE-80K ma’lumotlar to‘plami yaratiladi. Bu juftlikdagi o‘quv ma’lumotlari tanqisligi muammosini hal qiladi.

Kod omborini klonlash: InstructAV2AV kod omborini GitHub’dan mahalliy kompyuterga klonlang.
Muhitni sozlash: ombor ko‘rsatmalariga muvofiq Python muhitini sozlang va kerakli bog‘liqliklarni o‘rnating.
Og‘irliklarni yuklab olish: InstructAV2AV modeli og‘irliklarini Hugging Face’dan yuklab oling.
Material tayyorlash: kirish sifatida ovozli video material tayyorlang.
Ko‘rsatma kiritish: o‘zgartirmoqchi bo‘lgan kontentni tasvirlovchi bitta tabiiy til tahrirlash ko‘rsatmasini kiriting.
Inferensni ishga tushirish: inferens skriptini ishga tushiring va model tahrirlangan video hamda audioni yaratishini kuting.
Natijani saqlash: chiqish natijasini ko‘rib chiqing va tahrirlangan audio-video faylni saqlang.

Loyiha rasmiy sayti: https://hjzheng.net/projects/InstructAV2AV/
GitHub ombori: https://github.com/suimuc/InstructAV2AV
Hugging Face model ombori: https://huggingface.co/suimu/InstructAV2AV
arXiv texnik maqolasi: https://arxiv.org/pdf/2605.18467

Kino post-prodakshni: kino post-prodakshni xodimlari aktyor dialogini almashtirib, lab harakatlarini sinxronlashtiradi va qayta suratga olish xarajatlarini kamaytiradi.
Qisqa video yaratish: qisqa video ijodkorlari materialdagi personajlar va ovozlarni bitta jumla orqali o‘zgartirib, ijodiy samaradorlikni oshiradi.
Virtual insonlar: virtual insonlar bilan ishlovchi jamoalar raqamli personajning ko‘rinishi, ovoz tembri va so‘zlarini moslashtiradi.
Reklama ijodkorligi: reklama sohasi mutaxassislari turli personajlar va dialoglarga ega reklama videolarining bir nechta variantini ommaviy yaratadi.
Interaktiv kontent ishlab chiqarish: o‘yin va ta’lim sohasi xodimlari audio va tasviri uyg‘un multimedia materiallarini dinamik ravishda yaratadi.