EchoWM Faoliyat yuritmoqda

EchoWM — JD.com Tadqiqot institutining ochiq manbali interaktiv audiovizual dunyo modeli. Model JoyAI-Echo’ning mahalliy audio va video generatsiya qobiliyatini davom ettiradi, foydalanuvchilarga AI yaratgan dunyolarda birinchi yoki uchinchi shaxs nuqtai nazaridan real vaqt rejimida harakatlanish va kashf qilish imkonini beradi; tasvir, fazoviy munosabatlar, atrof-muhit tovushlari va nutq uzoq vaqt davomida uzluksiz sinxron saqlanadi. Model yagona kamera niyati interfeysi va dunyo ma’lumotlari dvigateli asosida o‘qitilgan. WBench navigatsiya baholashida o‘rtacha 81.7 ball bilan birinchi o‘rinni egallagan.

Real vaqt rejimida tadqiq qilinadigan dunyo generatsiyasi: foydalanuvchi WASD yo‘nalish tugmalari orqali AI yaratgan sahnada erkin harakatlanishi, burilishi va ortga qaytishi mumkin; dunyo harakatlarga mos ravishda real vaqt rejimida kengayadi.
Mahalliy audio-video qo‘shma generatsiyasi: yagona freymvorkda 720p video, atrof-muhit tovushlari, musiqa va personaj nutqi bir vaqtda generatsiya qilinadi; ovoz tasvirdagi o‘zgarishlarga tabiiy ravishda moslashadi.
Birinchi va uchinchi shaxs nuqtai nazarlarini boshqarish: birinchi shaxs rejimida kamera kuzatuvchi harakatini ifodalaydi, uchinchi shaxs rejimida esa kamera personaj, transport vositasi kabi obyektlar harakatini avtomatik kuzatadi.
Ko‘p bosqichli uzoq muddatli davomiylik: oldingi audio-video segmentining oxiri keyingi bosqich uchun kontekst sifatida ishlatiladi; ko‘p bosqichli harakatlardan keyin ham sahna tuzilishi, obyekt ko‘rinishi va tovushlar izchil qoladi.
WBench navigatsiya baholashida birinchi o‘rin: 158 ta holatda o‘rtacha ball 81.7 bo‘lib, izchillik va interaktivlik ko‘rsatkichlari ham yetakchi natijalarni qayd etdi.

WeChat’da kuzatib boring va “开源” deb javob yuboring, AI ochiq manba loyihalari guruhiga qo‘shiling
Yagona kamera niyati interfeysi: diskret klaviatura buyruqlari boshlang‘ich holatga nisbatan uzluksiz 6-DoF trayektoriyalarga o‘giriladi va kamera qanday harakatlanishini tasvirlash uchun yagona interfeysdan foydalaniladi; birinchi shaxs rejimida u bevosita kuzatuvchi harakatini ifodalaydi, uchinchi shaxs rejimida esa model ma’lumotlardan “obyekt harakati — kameraning kuzatuvi” bog‘liqligini o‘rganadi. Qo‘shimcha personaj trayektoriyasi yoki kamera parametrlari talab qilinmaydi. Trayektoriya faqat video tarmog‘iga kiritiladi, audio esa tasvir bilan birgalikda o‘zgaradi.
Dunyo ma’lumotlari dvigateli: bir-birini to‘ldiruvchi to‘rt turdagi ma’lumot manbasini birlashtiradi: ichki gameplay ma’lumotlari, insonlar o‘ynagan videolar, UE simulyatsiyasi va oddiy internet videolari. Keyin trayektoriyalarning maksimal siljish amplitudasining 90-percentili global “o‘lchov” sifatida olinib, barcha ma’lumotlar yagona tarzda normallashtiriladi; shu bilan turli trayektoriyalar orasidagi nisbiy siljish farqlari saqlanadi va segmentlar bo‘yicha alohida masshtablashdan kelib chiqadigan tezlik sakrashlarining oldi olinadi.
Bosqichma-bosqich to‘rt bosqichli o‘qitish: birinchi bosqichda AV-rich ma’lumotlari yordamida audio-video uzluksiz oldindan o‘qitiladi; ikkinchi bosqichda asosiy tarmoq muzlatilib, boshqaruv javobini kuchaytirish uchun faqat yengil trayektoriya tarmog‘i o‘qitiladi; uchinchi bosqichda boshqaruv ishonchliligi va audiovizual sifati yuqori bo‘lgan ma’lumotlar bilan past o‘rganish tezligida qo‘shma nozik sozlash amalga oshiriladi; to‘rtinchi bosqichda autoregressiv keyingi o‘qitish orqali Teacher Forcing sababiy blokli generatsiyaga moslashtiriladi, qisqa muddatli Self-Gradient Forcing bilan model o‘zi yaratgan tarixga moslashadi, so‘ng taqsimotlarni moslashtirish distillyatsiyasi orqali to‘rt bosqichli namunaga siqiladi. Sink-plus-FIFO keshlash mexanizmi boshqaruv KV xarajatlarini nazorat qilgan holda uzoq muddatli oqimli interaksiyani qo‘llab-quvvatlaydi.

Repository’ni klonlash: git clone orqali github.com/jd-opensource/JoyAI-Echo manzilidan yuklab oling va echo_wm/ katalogiga kiring (uzun video loyihasi echo_longvideo/ dan mustaqil).
Muhit yaratish: conda create -n echo-wm python=3.11 buyrug‘i bilan alohida muhit yarating va uni faollashtiring.
Bog‘liqliklarni o‘rnatish: avval PyTorch 2.9.1 (cu128) ni o‘rnating, keyin pip install -r requirements.txt buyrug‘ini bajaring va videokarta mavjudligini torch.cuda.is_available() orqali tekshiring.
Model og‘irliklarini yuklab olish: hf download Echo-Team/Echo-WM orqali model checkpoint’ini yuklab oling; shuningdek, Gemma 3 matn kodlagichini ham yuklab olish kerak (gated repository, avval HF sahifasida litsenziyani qabul qiling va hf auth login buyrug‘ini bajaring).
Rasmiy misol bilan tekshirish: scripts/run_wm_case.py --case examples/wm_cases/0010 kabi ichki to‘liq holatlarni ishga tushirib, muhit sozlamalari to‘g‘ri ekanini tasdiqlang.
Maxsus generatsiya: inference_wm.py skriptini ishga tushiring va boshlang‘ich kadr rasmi + olti maydonli prompt + harakatlar ketma-ketligini (Action DSL) kiriting; natijada ovozli video hosil bo‘ladi.
Harakat buyruqlarini yozish: kamera harakatini Action DSL orqali tasvirlang. Format: <tugma>-<kadrlar soni>, buyruqlar vergul bilan ajratiladi. Masalan, w-60,a-60 60 kadr oldinga, so‘ng 60 kadr chapga harakatlanishni anglatadi; w/s/a/d/i/j/k kombinatsiyalari qo‘llab-quvvatlanadi.

Audiovizual yaxlitlik: yagona freymvorkda 720p video, atrof-muhit tovushlari, musiqa va nutq mahalliy tarzda birgalikda generatsiya qilinadi; ovoz sahna va hodisalardagi o‘zgarishlar bilan sinxron ravishda o‘zgaradi va aksariyat dunyo modellaridagi “faqat tasvir, ovozsiz” muammosini hal qiladi.
Yagona boshqaruv interfeysi: bitta nisbiy 6-DoF trayektoriya bir vaqtning o‘zida birinchi shaxs kuzatuvchisi harakatini va uchinchi shaxs kamerasining obyektni kuzatishini boshqaradi; turli nuqtai nazarlar uchun alohida boshqaruvchilarni loyihalash talab qilinmaydi.
Uzoq muddatli izchillik: autoregressiv keyingi o‘qitish va sink-plus-FIFO keshlash mexanizmi orqali foydalanuvchi avvalgi bosqich oxiridagi audio-video konteksti asosida ko‘p bosqichli tadqiqotni davom ettirishi mumkin; sahna, obyekt va tovushlar uzoq vaqt davomida izchil qoladi.
Baholashda yetakchilik: WBench Navigation baholashida o‘rtacha 81.7 ball bilan birinchi o‘rin, foydalanuvchi tadqiqotida esa umumiy afzallik LingBot-World-v2 va HappyOyster’ga nisbatan sezilarli darajada yuqori.

Loyiha rasmiy sayti: https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/wm/
GitHub repository: https://github.com/jd-opensource/JoyAI-Echo
arXiv texnik maqolasi: https://arxiv.org/pdf/2608.23189

O‘yin prototiplarini ishlab chiqish: ijodkorlar generatsiya qilingan sahnaga kirib, fazoviy tuzilma, marshrut dizayni va kamera tajribasini sinab ko‘rgach, ishlab chiqish yo‘nalishini belgilaydi.
Interaktiv hikoya: syujet foydalanuvchi tanloviga ko‘ra tarmoqlanib, uzluksiz generatsiya qilinadi; an’anaviy oldindan tayyorlangan materiallar o‘rnini bosib, interaktiv drama va interaktiv romanlarda qo‘llanadi.
Immersiv kontent: kino va reklama kontenti “tomosha qilish”dan “ichiga kirish”ga aylanadi, tomoshabinlar tasvirdagi dunyoni erkin tadqiq qilishi mumkin.
Virtual sayohat: muzeylar, sayyohlik maskanlari, ko‘chmas mulk va boshqa sahnalarni kadrma-kadr modellashtirmasdan, kam xarajat bilan raqamli sayrga aylantirish.
Raqamli insonlar ijrosi: personaj nutqi va harakatlari atrofdagi dinamik muhit, kamera va tovushlar bilan hamohang tarzda generatsiya qilinadi; virtual boshlovchilar va raqamli xodimlar uchun mos.