HelixWorld Faoliyat yuritmoqda

HelixWorld — Noiz AI va Gonkong Fan va Texnologiyalar universiteti hamkorligida ochiq manba sifatida taqdim etilgan, real vaqt rejimida ishlaydigan interaktiv audio-video dunyo modeli. Modelga boshlang‘ich rasm va matnli tavsif berilganda, WASD hamda yo‘nalish tugmalari orqali AI yaratgan dunyoda yurish va boshni burish mumkin; tasvir va fazoviy stereo tovush effektlari bir vaqtning o‘zida real vaqt rejimida yaratiladi, tovush tasviri esa ko‘rish burchagiga tabiiy ravishda moslashadi. HelixWorld LTX-2.3 asosida qurilgan bo‘lib, “ikki yo‘nalishli o‘qituvchi + kauzal distillatsiya” usulidan foydalanadi. Bitta H800 grafik kartasida 768×512 o‘lcham va 24 FPS tezlikda real vaqt rejimida generatsiya qilish mumkin. U bilan birga fazoviy akustik izchillikni maxsus baholovchi HelixBench benchmarki ham taqdim etilgan.

Real vaqt rejimida interaktiv dunyo yaratish: boshlang‘ich rasm va matnli tavsifni kiriting, AI yaratgan dunyoni erkin o‘rganing.
Klaviatura va harakat orqali boshqarish: WASD harakatni, yo‘nalish tugmalari esa ko‘rish burchagini boshqaradi; tasvir harakatlarga darhol javob beradi.
Audio va videoni asl holida birgalikda yaratish: video va stereo audio bir vaqtda yaratiladi, keyinchalik ovoz qo‘shilmaydi.
Fazoviy akustik izchillik: tovush tasviri kamera burilishiga tabiiy ravishda moslashadi; masalan, chap tomondagi tovush manbasiga qaralganda, tovush yo‘nalishi ham shunga mos o‘zgaradi.
Uch yo‘nalishda ajratilgan promptlar: video, audio hamda audio-video birgalikdagi tavsiflar orqali yaratiladigan kontentni alohida boshqarish.
Ravon real vaqt tajribasi: bitta H800 grafik kartasida 768×512 o‘lcham va 24 FPS tezlikda real vaqt rejimida generatsiya.

WeChat’da kuzatib, “开源” deb javob yuboring va AI ochiq manba loyihalari guruhiga qo‘shiling.
Ikki yo‘nalishli o‘qituvchi modelni oldindan o‘qitish: avval o‘qituvchi sifatida ikki yo‘nalishli audio-video diffuziya modeli o‘qitiladi. Uzluksiz 6-DoF kamera trayektoriyasi PRoPE orqali vizual diqqat mexanizmiga kiritiladi, 81 turdagi diskret harakat AdaLN-Zero yordamida diffuziya vaqt bosqichini modulyatsiya qiladi. Modalitetlararo diqqat kamera harakatini audio tarmog‘iga uzatadi va tovushning tabiiy stereo tasvir o‘zgarishlarini ta’minlaydi.
Real vaqt rejimi uchun kauzal distillatsiya: o‘qituvchi model kam bosqichli kauzal o‘quvchi modelga distillatsiya qilinadi. Video latent o‘zgaruvchilari va audio tokenlari bloklarga ajratib qayta ishlanadi; blok ichida ikki yo‘nalishli diqqat, bloklar orasida esa KV cache orqali kauzal ulanish qo‘llanadi. ODE initsializatsiyasi bilan o‘quvchi model denoising jarayonini 4 bosqichda yakunlay oladi va real vaqt rejimidagi inferens talablarini qondiradi.
Onlayn trayektoriya distillatsiyasi orqali driftni kamaytirish: avto-regressiv uzoq muddatli generatsiyada xatolar to‘planishining oldini olish uchun o‘qitish vaqtida o‘qituvchi Probability Flow ODE yakuniy nuqtasi o‘quvchi modelning tezlik maydoni uchun nazorat maqsadi sifatida ishlatiladi. U taqsimotni moslashtirish yo‘qotishi (DMD) bilan tasodifiy navbatlab qo‘llanadi va generatsiya xilma-xilligi bilan uzoq muddatli barqarorlikni muvozanatlashtiradi.
Uzoq muddatli oqimli nozik sozlash: uzun ketma-ketliklarni o‘qitish uchun siljuvchi oyna asosidagi KV cache yordamida ketma-ketlik bosqichma-bosqich ochiladi, sink kadrlar tayanch sifatida saqlanadi va tarixiy gradientlar kesiladi. Taxminan bir daqiqalik uzun ketma-ketliklar bilan nozik sozlash uzoq generatsiya paytida tasvir driftini va tovush sifatining pasayishini yanada kamaytiradi.

Birinchi usul: onlayn foydalanish. https://helixworld.org saytini oching va namunaviy rasmni tanlang yoki o‘z rasmingizni yuklang.
Sahna tavsifini matn ko‘rinishida kiriting.
Dunyoga kirgach, WASD orqali harakatlaning, yo‘nalish tugmalari bilan ko‘rish burchagini o‘zgartiring va yaratilgan kontentni real vaqt rejimida o‘rganing.
Ishlash jarayonida promptlarni istalgan vaqtda o‘zgartirib, keyingi sahnalarni sozlashingiz mumkin.
Ikkinchi usul: lokal joylashtirish. Muhit talablari: Linux tizimi, Python 3.11, CUDA 12.x, NVIDIA grafik kartasi (80GB video xotira tavsiya etiladi), ffmpeg va ffprobe.
Loyihani yuklab oling va bog‘liqliklarni o‘rnating: git clone https://github.com/NoizAI/HelixWorld.git, conda muhiti yaratilgach pip install -r requirements.txt buyrug‘ini bajaring.
Model og‘irliklarini yuklab olish uchun python download_models.py buyrug‘ini ishga tushiring.
Boshlang‘ich rasm tayyorlang va ./run.sh orqali rasm, video/audio/birgalikdagi promptlar, harakatlar ketma-ketligi kabi parametrlarni ko‘rsating. MP4 fayli outputs katalogiga yaratiladi.

Birinchi ochiq manbali real vaqt rejimidagi interaktiv audio-video dunyo modeli: tasvir va fazoviy stereo tovush foydalanuvchi boshqaruvi ostida birgalikda real vaqt rejimida yaratiladi, kod va model og‘irliklari to‘liq ochiq.
Haqiqiy “boshni burish bilan tovush o‘zgaradi”: tovush tasviri ko‘rish burchagi burilishiga qat’iy amal qiladi, fazoviy izchillik ko‘rsatkichi o‘xshash modellarnikidan bir necha baravar yuqori.
Bitta grafik kartasida real vaqt rejimi: bitta H800 24 FPS va 0.77 RTF tezlikda real vaqt rejimida generatsiyani ta’minlaydi, tezlik o‘xshash modellarnikidan 2.5 baravardan ko‘proq yuqori.
Uzoq muddatli generatsiyada drift yo‘q: onlayn trayektoriya distillatsiyasi va uzoq muddatli nozik sozlash yordamida 30 soniyadan ortiq uzluksiz generatsiyada ham tasvir va tovush barqaror qoladi, xilma-xillik esa kamaymaydi, aksincha oshadi.
Audio sifati bo‘yicha to‘liq ustunlik: HelixBench’ning asosiy ko‘rsatkichlarida eng yaxshi natijalar qayd etilgan, foydalanuvchilarning ko‘r-ko‘rona testida audio mavjud sahnalarda 67.9% afzallik ulushi bilan raqiblardan ustun kelgan.

Loyiha rasmiy sayti: https://helixworld.org/
GitHub repozitoriysi: https://github.com/NoizAI/HelixWorld
arXiv texnik maqolasi: https://arxiv.org/pdf/2609.38123

Immersiv o‘yin prototiplari: modellashtirish va o‘yin dvigatelisiz, faqat rasm kiritish orqali yurish va o‘rganish mumkin bo‘lgan ochiq dunyo yaratiladi, o‘yin demosi ishlab chiqish muddati sezilarli qisqaradi.
VR/AR virtual makonlari: birinchi shaxs ko‘rish burchagi va fazoviy audio kombinatsiyasi boshga taqiladigan qurilmalarga tabiiy mos keladi, virtual ko‘rgazma zallari va raqamli egizak muhitlarni tez yaratish imkonini beradi.
Kino va reklama oldindan ko‘rigi: rejissyor konseptual rasmni yuklab, sahnaga “kirib”, tasvir va tovush effektlarini tinglashi mumkin; suratga olishdan oldin kadr tili va muhit dizaynini arzon narxda tekshirish mumkin.
AI video qo‘ng‘iroqlari va virtual boshlovchi fonlari: ovoz hamda o‘zaro aloqaga mos dinamik fon va ovoz effektlari real vaqt rejimida yaratiladi, yashil ekran va statik materiallar o‘rnini bosadi.
Jismoniy mujassamlashgan intellektni o‘qitish va simulyatsiya: interaktiv dunyo simulyatori sifatida robotlar va avtonom haydash tizimlariga audio-vizual qayta aloqa mavjud bo‘lgan arzon o‘quv muhitini taqdim etadi hamda fizik o‘zaro ta’sir qonuniyatlarini o‘rganishga yordam beradi.