WorldSonus Faoliyat yuritmoqda

WorldSonus — Gonkong Fan va texnologiyalar universiteti, Noiz AI, MetaX va Shanxay Jiao Tong universiteti hamkorligida ochiq manba sifatida taqdim etilgan oqimli video dublyaj freymvorki. U video oqimi yaratilishi bilan birga har 100 ms da 48 kHz stereo audioni real vaqt rejimida chiqaradi. WorldSonus sababga asoslangan AR diffuziya arxitekturasi va 5 soniyalik Ring-KV keshi yordamida generatsiya davomida ovoz effekti ko‘rsatmalarini uzluksiz almashtirishni qo‘llab-quvvatlaydi; chap va o‘ng kanallar sahnadagi ovoz manbalarining joylashuvi hamda kamera harakatiga moslashadi. Besh xil test to‘plamida ovoz sifati AudioX, ThinkSound va boshqa ikki yo‘nalishli oflayn modellardan to‘liq ustun bo‘ladi.

Real vaqt rejimidagi oqimli dublyaj: video oqimi yaratilishi bilan audio ham chiqariladi; har 100 ms da bir bo‘lak, har bir bo‘lak uchun hisoblash vaqti atigi 41.2 ms. Video oqimini cheksiz davom ettirish mumkin, GPU xotirasi sarfi esa o‘zgarmaydi.
Jarayon davomida ovozni o‘zgartirish: generatsiya paytida matnli ovoz effekti ko‘rsatmalarini istalgan vaqtda qayta yozish, eng yaqin bo‘lak chegarasida uzluksiz almashtirish mumkin; sessiya holati saqlanadi va avvalgi kadrlarni qayta hisoblash talab etilmaydi.
Fazoviy stereo: 48 kHz ikki kanalli audio chiqariladi, ovoz manbalarining joylashuvi va kamera harakati chap hamda o‘ng kanallarda real vaqt rejimida aks etadi.
Modulli va darhol integratsiyalanadi: vizual backbone’dan mustaqil bo‘lib, faqat “allaqachon yaratilgan video kadrlari”ni qabul qiladi; istalgan world model yoki o‘yin dvigateliga ulanishi mumkin.
Ochiq domen uchun universal: interaktiv sahnalardan tashqari, VGGSound kabi umumiy videolarda ham ovoz sifati ikki yo‘nalishli oflayn modellardan ustun.

WeChat’da kuzatib, “ochiq manba” deb javob yuboring va AI ochiq manba loyihalari guruhiga qo‘shiling.
Bo‘laklarga ajratilgan sababga asoslangan oqimli generatsiya (AR-Diffusion): audio sababga asoslangan stereo VAE’ning uzluksiz latent makoniga kodlanadi, har 100 ms 3 ta latent kadrga mos keladi; decoder-only Transformer har qadamda faqat “oldingi audio bo‘lagi + joriy video bo‘lagi”dan iborat ikkita agregatsiyalangan tokenni o‘qiydi. W=50 bo‘lakdan iborat Ring-KV aylanma keshi chegaralangan xotirani ta’minlaydi, so‘ng yengil flow head rectified-flow maqsadi yordamida joriy bo‘lakni denoising qiladi.
Ikki vaqt masshtabidagi vizual shartlar: muzlatilgan DINOv3 har bir kadrni patch panjarasi sifatida kodlaydi va harakatni ushlash uchun kadrlar farqi tasvirini birlashtiradi; har bir kadr 1 ta tokenga jamlanadi. Keyin 3 ta kadr tokeni 1 ta bo‘lak darajasidagi semantik token sifatida jamlanib, uzoq muddatli izchillikni boshqaruvchi AR backbone’ga uzatiladi. Kadrga moslangan 3 ta token esa backbone’ni chetlab o‘tib, audio-video sinxronligining nozik render qilinishini boshqarish uchun bevosita flow head’ga beriladi; uzoq muddatli rejalashtirish va mahalliy render ajratiladi.
ShiftNCE orqali o‘qitish davridagi moslashtirish distillyatsiyasi: muzlatilgan Synchformer o‘qitish vaqtida o‘qituvchi sifatida ishlatiladi, kontrastiv o‘rganish orqali sinxronlash qobiliyati AR yashirin holatiga distillyatsiya qilinadi. Ijobiy namunalar vaqt bo‘yicha moslangan oynalar, salbiy namunalar esa ayni videoning bir necha bo‘lakka siljitilgan oynalaridir; yuqori o‘xshashlikdagi siljishlar uchun soxta salbiy namunalar filtrlanadi. Inferens vaqtida qo‘shimcha xarajat yo‘q; olib tashlanganda DeSync 0.831 dan 1.067 gacha yomonlashadi.
Vaqt bo‘yicha o‘zgaruvchi prompt rejalashtirishi va promptni joyida boshqarish: prompt T5Gemma 2 orqali tokenlar to‘plamiga siqiladi va cross-attention’da keshlanadi; jarayon davomida so‘zlarni almashtirishda faqat eng yaqin bo‘lak chegarasida ushbu kesh joyida almashtiriladi, Ring-KV hamda audio-vizual holat o‘zgarmaydi. O‘qitish vaqtida jarayon o‘rtasida almashtirish, ko‘rsatmani bekor qilish va ko‘rsatma qo‘shish kabi to‘rtta vaqt bo‘yicha o‘zgaruvchi rejalashtirish ataylab aralashtiriladi; shu tariqa model uzluksiz o‘tishlarni o‘rganadi.

Muhitni tayyorlash: Python 3.10+, CUDA grafik kartasi, FFmpeg/ffprobe tayyorlang va GPU drayveri o‘rnatilganini tekshiring.
Kodni yuklab olish: git clone https://github.com/NoizAI/WorldSonus.git buyrug‘ini bajaring va loyiha katalogiga kiring.
Bog‘liqliklarni o‘rnatish: bash scripts/setup.sh .venv buyrug‘ini bajaring (CUDA 12.4 uchun PyTorch avtomatik o‘rnatiladi), so‘ng source .venv/bin/activate va pip install -e '.[features]' buyrug‘ini bajaring.
Asosiy model og‘irliklarini yuklab olish: WorldSonus og‘irliklarini yuklab olish uchun python scripts/download_model.py --output assets buyrug‘ini bajaring.
Enkoderlarni yuklab olish: DINOv3 va T5Gemma 2 ni olish uchun python scripts/download_encoders.py --output assets buyrug‘ini bajaring.
Butun videoni oflayn dublyaj qilish: python -m worldsonus.infer --video input.mp4 --prompt "ovoz effekti tavsifi" --output output.wav buyrug‘ini bajaring. Xususiyatlarni ajratish, generatsiya va dekodlash avtomatik bajariladi, natijada 48 kHz stereo WAV hosil bo‘ladi.
Ixtiyoriy parametrlar: video oynasini ajratish uchun --start 5 --seconds 10 dan foydalaning yoki sof video shartlari asosida generatsiya qilish uchun --prompt parametrini qoldiring.
Oqimli real vaqt generatsiyasi: audioni bo‘lakma-bo‘lak generatsiya qilish uchun --stream parametrini qo‘shing.
Generatsiya bilan birga ijro etish: --stream --pcm-stdout parametrlarini qo‘shib, xom PCM’ni quvur orqali ffplay -f f32le -ar 48000 -ac 2 -i - -nodisp -autoexit ga yuboring va darhol tinglang.

Oqimli sababga asoslangan arxitektura: 100 ms lik bo‘laklarda, har bir bo‘lak uchun atigi 41.2 ms ichida audio real vaqt rejimida yaratiladi; GPU xotirasi sarfi o‘zgarmaydi va oqimni cheksiz davom ettirish mumkin.
Jarayon davomida promptni o‘zgartirish: generatsiya paytida ovoz effekti ko‘rsatmalarini istalgan vaqtda uzluksiz almashtirish mumkin; holat saqlanadi va kechikish real vaqt chegarasida qoladi.
Fazoviy stereo: 48 kHz ikki kanalli chiqish, ovoz manbalarining joylashuvi va kamera harakati bilan real vaqt rejimida moslashadi.
Modulli va oson integratsiyalanadi: faqat yaratilgan video kadrlarini qabul qiladi, istalgan world model yoki o‘yin dvigateliga ulanishi mumkin.
Ovoz sifati oflayn modellardan yuqori: besh xil test to‘plamida FAD kabi ko‘rsatkichlar to‘liq videoni ko‘ra oladigan ikki yo‘nalishli bazaviy modellardan ustun.
Uzoq muddatli barqarorlik: 5 soniyalik Ring-KV keshi bilan 30 soniya davomida siljish va qulashsiz generatsiya.

Loyiha sayti: https://noizai.github.io/WorldSonus/
GitHub repozitoriysi: https://github.com/NoizAI/WorldSonus
HuggingFace model repozitoriysi: https://huggingface.co/FF2416/WorldSonus
arXiv texnik maqolasi: https://arxiv.org/abs/2610.08760

World model’lar va o‘yin dvigatellari uchun real vaqt dublyaji: GameGen-X, LingBot-World 2.0 kabi interaktiv world model’lar va o‘yin dvigatellarining video oqimi uchun muhit tovushlarini real vaqt rejimida yaratadi; tasvir qayerga borsa, ovoz ham o‘sha yerga ergashadi.
Virtual jonli efir va raqamli insonlar: jonli efir tasviri yaratilishi bilan birga ovoz ham sinxron chiqariladi; boshlovchi jarayon davomida ovozli yoki matnli ko‘rsatmalar orqali ovoz effektlarini darhol o‘zgartirishi, efirni to‘xtatib qayta yozmasligi mumkin.
Uzun videolar uchun oqim davomida musiqa yaratish: film treylerlari, AI yaratgan uzun videolar va boshqa holatlarda butun render tugashini kutmasdan 48 kHz stereo musiqani bo‘lakma-bo‘lak hosil qilish, post-ishlov vaqtini sezilarli qisqartirish mumkin.
VR/AR va simulyatsion o‘quv muhitlari: virtual simulyatsiya, avtonom haydash mashg‘ulotlari, harbiy mashqlar kabi muhitlarda dinamik nuqtayi nazarli video oqimlari uchun kamera bilan moslangan fazoviy audio yaratadi, immersiya va mashg‘ulot realizmini oshiradi.
Agentlar va robotlar idroki: embodied agent’larni real vaqt audio-vizual sinxron signallari bilan ta’minlaydi; ular vizual kirish bilan bir vaqtda stereo muhit teskari aloqasini olib, navigatsiya va o‘zaro ta’sir qarorlarini qabul qilishga yordam beradi.