EchoWM Inafanya kazi

EchoWM ni modeli ya ulimwengu wa sauti na picha inayoingiliana, iliyotolewa kama chanzo huria na Taasisi ya Utafiti ya JD. Ikiendeleza uwezo wa asili wa JoyAI-Echo wa kuzalisha sauti na video, huwawezesha watumiaji kusogea na kuchunguza kwa wakati halisi katika ulimwengu unaozalishwa na AI kwa mtazamo wa mtu wa kwanza au wa tatu, huku picha, mahusiano ya anga, sauti za mazingira na sauti za usemi zikiendelea kusawazishwa bila kupoteza mwelekeo kwa muda mrefu. Modeli hii hufunzwa kwa kutumia kiolesura kimoja cha nia ya kamera na injini ya data ya ulimwengu; alama yake ya wastani ya 81.7 katika tathmini ya urambazaji ya WBench iliishikiza nafasi ya kwanza.

Uzalishaji wa ulimwengu unaoweza kuchunguzwa kwa wakati halisi: Watumiaji wanaweza kutumia vitufe vya mwelekeo vya WASD kusogea kwa uhuru, kugeuka na kurudi nyuma katika mandhari inayozalishwa na AI; ulimwengu hupanuka kwa wakati halisi kulingana na vitendo.
Uzalishaji asilia wa sauti na video kwa pamoja: Katika mfumo huo huo, huzalisha kwa usawazishaji video ya 720p pamoja na sauti za mazingira, muziki na usemi wa wahusika; sauti huendelea kwa kawaida kadiri picha inavyobadilika.
Udhibiti wa mitazamo miwili, wa mtu wa kwanza na wa tatu: Katika mtazamo wa mtu wa kwanza, kamera husogea pamoja na mtazamaji; katika mtazamo wa mtu wa tatu, kamera humfuata mhusika, gari au kitu kingine kinachosogea.
Muendelezo wa muda mrefu kwa raundi nyingi: Sauti na video za mwisho wa raundi iliyotangulia hutumiwa kama muktadha wa raundi inayofuata; hata baada ya vitendo vingi, mpangilio wa mandhari, mwonekano wa wahusika na sauti hubaki kuwa thabiti.
Nafasi ya kwanza katika tathmini ya urambazaji ya WBench: Kati ya visa 158, alama ya wastani ilikuwa 81.7, huku vipimo vya uthabiti na mwingiliano vikiwa miongoni mwa vya juu zaidi.

Fuata akaunti ya WeChat na ujibu “开源” ili ujiunge na kikundi cha majadiliano cha miradi ya AI ya chanzo huria
Kiolesura kimoja cha nia ya kamera: Maagizo tofauti ya kibodi hubadilishwa kuwa mfululizo endelevu wa njia za 6-DoF zinazohusiana na mkao wa awali, kwa kutumia kiolesura kimoja kueleza jinsi kamera inavyosogea; katika mtazamo wa mtu wa kwanza, hii huwakilisha moja kwa moja mwendo wa mtazamaji, huku katika mtazamo wa mtu wa tatu modeli ikijifunza kutoka kwenye data uhusiano wa “mwendo wa mhusika—ufuatiliaji wa kamera” bila kuhitaji njia za ziada za mhusika au vigezo vilivyowekwa awali vya kamera. Njia hiyo huingizwa kwenye tawi la video pekee, huku sauti ikiunganishwa na picha.
Injini ya data ya ulimwengu: Huunganisha aina nne za vyanzo vya data vinavyokamilishana: gameplay, rekodi za watu wakicheza, uigaji wa UE na video za kawaida za mtandao; kisha hutumia asilimia ya 90 ya kiwango cha juu cha uhamishaji wa njia kama “kipimo” cha jumla kwa kusawazisha data, huhifadhi tofauti za uhamishaji kati ya njia mbalimbali na kuepuka mabadiliko ya ghafla ya kasi yanayosababishwa na vipimo tofauti vya sehemu.
Mafunzo ya hatua nne yanayoendelea: Hatua ya kwanza hutumia data yenye utajiri wa AV kufanya mafunzo endelevu ya awali ya sauti na video; hatua ya pili hugandisha uti wa mgongo na kufunza tawi jepesi la njia pekee ili kuimarisha mwitikio wa udhibiti; hatua ya tatu hufanya urekebishaji wa pamoja kwa kiwango cha chini cha kujifunza kwa kutumia data yenye udhibiti wa kuaminika na ubora wa sauti na picha; hatua ya nne ni mafunzo ya baada ya kujirejelea, ambapo Teacher Forcing hubadilishwa kuwa uzalishaji wa vizuizi vya kisababishi, Self-Gradient Forcing ya muda mfupi hutumiwa kuzoesha modeli historia inayozalishwa yenyewe, kisha kunereka kwa ulinganishaji wa usambazaji hubana sampuli hadi hatua nne. Utaratibu wa akiba wa sink-plus-FIFO huwezesha mwingiliano wa kutiririsha wa muda mrefu huku ukidhibiti gharama ya control KV.

Clone hazina: Tumia git clone kupakua github.com/jd-opensource/JoyAI-Echo, kisha ingia kwenye saraka ya echo_wm/ (iliyo huru na mradi wa video ndefu echo_longvideo/).
Unda mazingira: Tumia conda create -n echo-wm python=3.11 kuunda mazingira huru na kuyaamilisha.
Sakinisha utegemezi: Kwanza sakinisha PyTorch 2.9.1 (cu128), kisha pip install -r requirements.txt, na utumie torch.cuda.is_available() kuthibitisha kuwa GPU inapatikana.
Pakua uzito wa modeli: Tumia hf download Echo-Team/Echo-WM kupakua checkpoint ya modeli; pia pakua kisimbaji cha maandishi cha Gemma 3 (hazina iliyozuiwa, hivyo lazima kwanza ukubali leseni kwenye ukurasa wa HF na utumie hf auth login).
Thibitisha kwa mfano rasmi: Endesha scripts/run_wm_case.py --case examples/wm_cases/0010 na visa vingine kamili vilivyojengwa ndani ili kuthibitisha kuwa mazingira yamesanidiwa ipasavyo.
Uzalishaji maalum: Endesha inference_wm.py, na upitishe picha ya fremu ya kwanza + vidokezo vya sehemu sita + mfuatano wa vitendo (Action DSL) ili kutoa video yenye sauti.
Andika maagizo ya vitendo: Tumia Action DSL kueleza mwendo wa kamera, kwa muundo wa <kitufe>-<idadi ya fremu>, zikitenganishwa kwa koma; kwa mfano, w-60,a-60 humaanisha kusonga mbele kwa fremu 60 kisha kusogea kushoto kwa fremu 60. Mchanganyiko wa w/s/a/d/i/j/k unaungwa mkono.

Ujumuishaji wa sauti na picha: Katika mfumo huo huo, huzalisha asili video ya 720p pamoja na sauti za mazingira, muziki na usemi; sauti hubadilika kwa usawazishaji na mandhari na matukio ya picha, na kutatua tatizo la modeli nyingi za ulimwengu “kutoa picha tu bila sauti”.
Kiolesura kimoja cha udhibiti: Njia moja ya 6-DoF inayohusiana huendesha kwa wakati mmoja mwendo wa mtazamaji wa mtu wa kwanza na ufuatiliaji wa kamera wa mhusika katika mtazamo wa mtu wa tatu, bila kuhitaji vidhibiti tofauti kwa mitazamo tofauti.
Uthabiti wa muda mrefu: Kupitia mafunzo ya baada ya kujirejelea na utaratibu wa akiba wa sink-plus-FIFO, watumiaji wanaweza kuendelea na uchunguzi wa raundi nyingi kwa kutumia muktadha wa sauti na video wa mwisho wa raundi iliyotangulia; mandhari, wahusika na sauti hubaki thabiti kwa muda mrefu.
Uongozi katika tathmini: Ilipata wastani wa 81.7 na kushika nafasi ya kwanza katika tathmini ya WBench Navigation; upendeleo wa jumla katika utafiti wa watumiaji ulikuwa bora kwa kiasi kikubwa kuliko LingBot-World-v2 na HappyOyster.

Tovuti rasmi ya mradi: https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/wm/
Hazina ya GitHub: https://github.com/jd-opensource/JoyAI-Echo
Makala ya kiufundi ya arXiv: https://arxiv.org/pdf/2608.23189

Uundaji wa mifano ya michezo: Watayarishi huingia kwenye mandhari inayozalishwa na kuijaribu, kuthibitisha mpangilio wa anga, muundo wa njia na uzoefu wa kamera kabla ya kuamua mwelekeo wa utengenezaji.
Usimulizi shirikishi: Hadithi husonga mbele kulingana na matawi yaliyochaguliwa na mtumiaji na huendelea kuzalishwa, na hivyo kuchukua nafasi ya nyenzo zilizotayarishwa awali kwa tamthilia na riwaya shirikishi.
Maudhui ya kuzamisha: Maudhui ya filamu na matangazo hubadilika kutoka “kutazama” kuwa “kuingia”, na watazamaji wanaweza kuchunguza kwa uhuru ulimwengu ulio kwenye picha.
Ziara pepe: Huwezesha utalii wa kidijitali wa gharama nafuu katika makumbusho, maeneo ya vivutio na mali isiyohamishika bila kuunda modeli ya kila fremu.
Maonyesho ya watu wa kidijitali: Usemi na vitendo vya wahusika huzalishwa kwa pamoja na mazingira yanayobadilika, kamera na sauti; inafaa kwa watangazaji pepe na wafanyakazi wa kidijitali.