WorldSonus Inafanya kazi

WorldSonus ni mfumo wa usawazishaji wa sauti wa video unaotiririka, uliotolewa kwa chanzo huria na HKUST kwa ushirikiano na Noiz AI, MetaX na Chuo Kikuu cha Shanghai Jiao Tong. Huzalisha video katika mtiririko na kutoa sauti ya stereo ya 48kHz kwa wakati halisi, katika vipande vya 100ms. WorldSonus hutumia usanifu wa causal AR diffusion na akiba ya Ring-KV ya sekunde 5, hivyo kuwezesha kubadilisha vidokezo vya athari za sauti bila kukatizwa wakati wa uzalishaji. Chaneli za kushoto na kulia hufuata mwelekeo wa vyanzo vya sauti katika tukio na mwendo wa kamera. Kwenye seti tano za majaribio, ubora wa sauti unazidi kwa ujumla miundo ya pande mbili ya nje ya mtandao kama AudioX na ThinkSound.

Usawazishaji wa sauti wa wakati halisi: Huzalisha video na sauti kwa pamoja katika mtiririko, ikiwa na kipande kimoja kila 100ms na muda wa kukokotoa wa 41.2ms tu kwa kipande. Matumizi ya VRAM hubaki thabiti, na mtiririko unaweza kuendelea kwa muda usio na kikomo.
Mabadiliko ya sauti wakati wa uzalishaji: Maagizo ya maandishi ya athari za sauti yanaweza kubadilishwa wakati wowote wakati wa uzalishaji. Hubadilika bila kukatizwa kwenye mpaka wa kipande cha hivi karibuni, bila kupoteza hali ya kikao au kuhesabu upya fremu za awali.
Sauti ya stereo ya anga: Hutoa sauti ya 48kHz ya chaneli mbili, huku mwelekeo wa chanzo cha sauti na mwendo wa kamera vikionyeshwa kwa wakati halisi katika chaneli za kushoto na kulia.
Muundo wa moduli na rahisi kuunganisha: Hujitegemea na uti wa mgongo wa kuona na hupokea tu “fremu za video zilizokwisha zalishwa”, hivyo unaweza kuunganishwa na modeli yoyote ya dunia au injini ya mchezo.
Matumizi ya jumla katika vikoa mbalimbali: Mbali na matukio shirikishi, ubora wa sauti kwenye video za jumla kama VGGSound bado unazidi miundo ya pande mbili ya nje ya mtandao.

Fuata WeChat na ujibu “开源” ili ujiunge na kundi la mawasiliano la miradi ya AI ya chanzo huria
Uzalishaji wa causal wa vipande katika mtiririko (AR-Diffusion): Sauti husimbwa katika nafasi fiche endelevu ya causal stereo VAE, ambapo kila 100ms inalingana na fremu 3 fiche; Transformer ya decoder-only husoma tokeni mbili za muhtasari tu kwa kila hatua: “kipande cha sauti kilichotangulia + kipande cha sasa cha video”. Akiba ya mzunguko ya Ring-KV yenye W=50 vipande huwezesha kumbukumbu yenye mipaka, kisha flow head nyepesi huondoa kelele kwenye kipande cha sasa kwa lengo la rectified-flow.
Masharti ya kuona yenye mizani miwili ya muda: DINOv3 iliyogandishwa husimba kila fremu kuwa gridi ya patch na kuunganisha picha za tofauti za fremu ili kunasa mwendo, huku kila fremu ikikusanywa kuwa tokeni 1; tokeni 3 za fremu hukusanywa tena kuwa tokeni 1 ya maana ya kiwango cha kipande na kupelekwa kwenye uti wa mgongo wa AR kwa mshikamano wa muda mrefu. Tokeni 3 za upangaji wa fremu hupita moja kwa moja kwenye uti wa mgongo na kupelekwa kwenye flow head kwa uwasilishaji wa kina unaosawazisha sauti na picha, hivyo mipango ya muda mrefu hutenganishwa na uwasilishaji wa ndani.
Usawazishaji wa distillation wa ShiftNCE wakati wa mafunzo: Synchformer iliyogandishwa hutumiwa kama mwalimu wakati wa mafunzo. Uwezo wa kusawazisha husambazwa kwenye hali fiche ya AR kwa kujifunza kwa kulinganisha: sampuli chanya ni madirisha yaliyopangwa kwa muda, na sampuli hasi ni madirisha ya video hiyo hiyo yaliyosogezwa kwa vipande kadhaa. Sampuli hasi za uongo zenye ufanano mkubwa huchujwa; wakati wa utabiri hakuna gharama ya ziada. Ikiondolewa, DeSync huzorota kutoka 0.831 hadi 1.067.
Upangaji wa vidokezo unaobadilika kwa muda na udhibiti wa vidokezo mahali pake: Vidokezo hubanwa na T5Gemma 2 kuwa seti ya tokeni na kuwekwa kwenye cross-attention. Neno linapobadilishwa katikati, akiba hii hubadilishwa mahali pake kwenye mpaka wa kipande cha hivi karibuni, bila kugusa Ring-KV wala hali ya sauti na picha. Wakati wa mafunzo, mabadiliko ya katikati, kuondoa maagizo na kuongeza maagizo huingizwa kwa makusudi, na kuufundisha modeli kufanya mabadiliko yasiyokatizwa.

Maandalizi ya mazingira: Andaa Python 3.10+, kadi ya picha ya CUDA na FFmpeg/ffprobe, na uhakikishe kuwa viendeshi vya GPU vimesakinishwa.
Pata msimbo: Tekeleza git clone https://github.com/NoizAI/WorldSonus.git kisha uingie kwenye saraka ya mradi.
Sakinisha utegemezi: Tekeleza bash scripts/setup.sh .venv ili kusakinisha kiotomatiki PyTorch ya CUDA 12.4, kisha endesha source .venv/bin/activate na pip install -e '.[features]'.
Pakua uzito wa modeli kuu: Tekeleza python scripts/download_model.py --output assets ili kupata uzito wa WorldSonus.
Pakua visimbaji: Tekeleza python scripts/download_encoders.py --output assets ili kupata DINOv3 na T5Gemma 2.
Usawazishaji wa sauti wa video nzima nje ya mtandao: Tekeleza python -m worldsonus.infer --video input.mp4 --prompt "maelezo ya athari za sauti" --output output.wav. Mfumo utakamilisha kiotomatiki uchimbaji wa vipengele, uzalishaji na usimbuaji, kisha kutoa WAV ya stereo ya 48kHz.
Vigezo vya hiari: Tumia --start 5 --seconds 10 kukata dirisha la video, au acha --prompt ili kuzalisha kwa masharti ya video pekee.
Uzalishaji wa mtiririko wa wakati halisi: Ongeza --stream ili kuzalisha sauti kwa vipande vinavyoongezeka.
Kucheza wakati wa uzalishaji: Ongeza --stream --pcm-stdout ili kutuma PCM ghafi moja kwa moja kupitia bomba kwenda ffplay -f f32le -ar 48000 -ac 2 -i - -nodisp -autoexit kwa usikilizaji wa papo hapo.

Usanifu wa causal unaotiririka: Huzalisha sauti kwa wakati halisi katika vipande vya 100ms, huku kila kipande kikihitaji 41.2ms tu. VRAM hubaki thabiti na mtiririko unaweza kuendelea bila kikomo.
Mabadiliko ya maagizo katikati: Maagizo ya athari za sauti yanaweza kubadilishwa bila kukatizwa wakati wowote wa uzalishaji, bila kupoteza hali na huku ucheleweshaji ukiendelea kuwa wa wakati halisi.
Sauti ya stereo ya anga: Hutoa sauti ya 48kHz ya chaneli mbili, iliyopangwa kwa wakati halisi kulingana na mwelekeo wa chanzo cha sauti na mwendo wa kamera.
Moduli rahisi kuunganisha: Hupokea tu fremu za video zilizokwisha zalishwa na inaweza kuunganishwa na modeli yoyote ya dunia au injini ya mchezo.
Ubora wa sauti unaozidi miundo ya nje ya mtandao: Kwenye seti tano za majaribio, vipimo kama FAD vinazidi kwa ujumla misingi ya pande mbili inayoweza kuona video nzima.
Uthabiti wa muda mrefu: Kwa akiba ya Ring-KV ya sekunde 5, huzalisha mfululizo wa sekunde 30 bila kupepesuka wala kuporomoka.

Tovuti rasmi ya mradi: https://noizai.github.io/WorldSonus/
Hifadhi ya GitHub: https://github.com/NoizAI/WorldSonus
Hifadhi ya modeli ya HuggingFace: https://huggingface.co/FF2416/WorldSonus
Karatasi ya kiufundi ya arXiv: https://arxiv.org/abs/2610.08760

Usawazishaji wa sauti wa wakati halisi kwa modeli za dunia na injini za michezo: Huzalisha sauti za mazingira kwa wakati halisi kwa mitiririko ya picha kutoka kwa modeli shirikishi za dunia kama GameGen-X na LingBot-World 2.0, pamoja na injini za michezo. Sauti hufuata kila mahali picha zinapoenda.
Utangazaji wa mtandaoni na binadamu wa kidijitali: Sauti huzalishwa na kusawazishwa sambamba na picha ya matangazo. Mtangazaji anaweza kubadilisha athari za sauti papo hapo kwa maagizo ya sauti au maandishi bila kusitisha matangazo au kurekodi tena.
Muziki wa video ndefu unapotiririka: Katika trela za filamu na video ndefu zinazozalishwa na AI, muziki wa stereo wa 48kHz unaweza kuzalishwa kwa vipande kabla ya uwasilishaji mzima kukamilika, hivyo kupunguza kwa kiasi kikubwa muda wa utayarishaji wa baadae.
Mazingira ya VR/AR na mafunzo ya uigaji: Katika uigaji pepe, mafunzo ya kuendesha kiotomatiki na mazoezi ya kijeshi, huzalisha sauti ya anga inayolingana na kamera kwa mitiririko ya picha yenye mitazamo inayobadilika, na kuongeza uzamivu pamoja na uhalisia wa mafunzo.
Utambuzi wa mawakala na roboti: Hutoa ishara za sauti na picha zilizosawazishwa kwa wakati halisi kwa mawakala wenye mwili, kuwawezesha kupata mrejesho wa mazingira ya stereo sambamba na ingizo la kuona na kusaidia maamuzi ya uelekezaji na mwingiliano.