HelixWorld Inafanya kazi

HelixWorld ni modeli ya ulimwengu ya sauti na video inayoingiliana kwa wakati halisi, iliyotolewa kama chanzo huria kwa pamoja na Noiz AI na Chuo Kikuu cha Sayansi na Teknolojia cha Hong Kong. Ipe modeli picha ya kuanzia na maelezo ya maandishi, kisha tumia WASD na vitufe vya mishale kutembea na kugeuza kichwa katika ulimwengu unaozalishwa na AI. Picha na athari za sauti za anga za stereo huzalishwa kwa wakati halisi na kwa usawazishaji, huku mwelekeo wa sauti ukibadilika kwa kawaida kulingana na mtazamo. HelixWorld imejengwa kwa msingi wa LTX-2.3 na kutumia mafunzo ya “mwalimu wa pande mbili + ufinyazi wa kisababishi”. Kadi moja ya michoro ya H800 inaweza kuzalisha kwa wakati halisi katika azimio la 768×512 na 24 FPS. Pia imetolewa HelixBench, kipimo maalum cha kutathmini ulinganifu wa sauti za anga.

Uzalishaji wa ulimwengu unaoingiliana kwa wakati halisi: Ingiza picha ya kuanzia na maelezo ya maandishi ili kuchunguza kwa uhuru ulimwengu unaozalishwa na AI.
Udhibiti wa kibodi na vitendo: WASD hudhibiti mwendo, huku vitufe vya mishale vikirekebisha mtazamo; picha hujibu mara moja kulingana na vitendo.
Uzalishaji asilia wa sauti na video kwa pamoja: Video na sauti ya stereo huzalishwa kwa wakati mmoja, bila kuongezwa sauti baada ya utengenezaji.
Ulinganifu wa sauti za anga: Mwelekeo wa sauti hubadilika kwa kawaida kamera inapozunguka; kwa mfano, ukigeuka na kuikabili chanzo cha sauti kilichokuwa kushoto, mwelekeo wa sauti hubadilika sawia.
Vidokezo vilivyotenganishwa katika mikondo mitatu: Tumia maelezo tofauti ya video, sauti, na sauti-video kwa pamoja kudhibiti maudhui yanayozalishwa.
Uzoefu laini wa wakati halisi: Kadi moja ya michoro ya H800 hufikia uzalishaji wa wakati halisi katika azimio la 768×512 na 24 FPS.

Fuatilia WeChat na ujibu “chanzo huria” ili kujiunga na kikundi cha miradi ya AI ya chanzo huria
Mafunzo ya awali ya modeli ya mwalimu wa pande mbili: Kwanza, modeli ya uenezaji wa sauti-video ya pande mbili hufunzwa kama mwalimu. Mfuatano wa kamera wa 6-DoF unaoendelea huingizwa kwenye usikivu wa kuona kupitia PRoPE, huku vitendo 81 vya kipekee vikirekebisha hatua za muda za uenezaji kwa AdaLN-Zero. Usikivu wa kuvuka miundo hupeleka mwendo wa kamera kwenye mkondo wa sauti, na kufanya mwelekeo wa sauti ya stereo ubadilike kwa kawaida.
Ufinyazi wa kisababishi kwa uendeshaji wa wakati halisi: Modeli ya mwalimu hufinyazwa kuwa modeli ya mwanafunzi ya kisababishi yenye hatua chache. Vigezo fiche vya video na tokeni za sauti hushughulikiwa kwa mafungu; ndani ya fungu kuna usikivu wa pande mbili, huku mafungu yakiunganishwa kisababishi kupitia akiba ya KV. Kwa kuunganishwa na uanzishaji wa ODE, mwanafunzi hukamilisha uondoaji wa kelele kwa hatua 4, hivyo kukidhi mahitaji ya uelekezaji wa wakati halisi.
Ufinyazi wa mkondo wa mtandaoni kupunguza kupeperuka: Ili kukabiliana na mkusanyiko wa makosa katika uzalishaji mrefu wa kujirudia, mwisho wa Teacher Probability Flow ODE hutumiwa kama shabaha ya kusimamia uga wa kasi wa mwanafunzi wakati wa mafunzo. Hii hutumiwa kwa kubadilishana bila mpangilio na hasara ya ulinganishaji wa usambazaji (DMD), ikidumisha utofauti wa uzalishaji na uthabiti wa muda mrefu.
Urekebishaji wa mtiririko wa mfuatano mrefu: Mafunzo ya mfuatano mrefu huendelezwa kwa vipande kupitia akiba ya KV ya dirisha linaloteleza, huku fremu za sinki zikihifadhiwa kama nanga na gradienti za historia zikikatwa. Urekebishaji wa mfuatano wa takriban dakika moja hupunguza zaidi kupeperuka kwa picha na kudhoofika kwa sauti wakati wa uzalishaji wa muda mrefu.

Njia ya kwanza: Uzoefu mtandaoni Fungua tovuti rasmi https://helixworld.org, kisha chagua picha ya mfano au pakia picha yako mwenyewe.
Jaza maelezo ya maandishi ya tukio.
Baada ya kuingia ulimwenguni, tumia WASD kusogea na vitufe vya mishale kuzungusha mtazamo, ili kuchunguza maudhui yanayozalishwa kwa wakati halisi.
Wakati wa uendeshaji, unaweza pia kubadilisha vidokezo wakati wowote ili kurekebisha matukio yatakayozalishwa baadaye.
Njia ya pili: Usambazaji wa ndani Maandalizi ya mazingira: Mfumo wa Linux, Python 3.11, CUDA 12.x, kadi ya michoro ya NVIDIA (inapendekezwa kumbukumbu ya video ya 80GB), ffmpeg na ffprobe.
Pakua mradi na usakinishe vitegemezi: git clone https://github.com/NoizAI/HelixWorld.git, kisha baada ya kuunda mazingira ya conda endesha pip install -r requirements.txt.
Endesha python download_models.py kupakua uzani wa modeli.
Andaa picha ya kuanzia, kisha tumia ./run.sh kubainisha picha, vidokezo vya picha/sauti/pamoja, mfuatano wa vitendo na vigezo vingine. Matokeo ya MP4 yatazalishwa katika saraka ya outputs.

Modeli ya kwanza ya chanzo huria ya ulimwengu wa sauti-video inayoingiliana kwa wakati halisi: Picha na sauti ya anga ya stereo huzalishwa kwa pamoja na kwa wakati halisi chini ya udhibiti wa mtumiaji, huku msimbo na uzani vikiwa wazi kabisa.
“Kugeuza kichwa hubadilisha sauti”: Mwelekeo wa sauti hufuata kwa usahihi mzunguko wa mtazamo, na alama ya ulinganifu wa anga ni mara kadhaa zaidi ya mifumo inayofanana.
Wakati halisi kwa kadi moja: Kadi moja ya H800 hufikia 24 FPS na RTF 0.77 katika uzalishaji wa wakati halisi, ikiwa na kasi inayozidi mara 2.5 ya mifumo inayofanana.
Uzalishaji mrefu bila kupeperuka: Ufinyazi wa mkondo wa mtandaoni pamoja na urekebishaji wa mfuatano mrefu hufanya picha na sauti zibaki thabiti katika uzalishaji endelevu wa zaidi ya sekunde 30, huku utofauti ukiongezeka badala ya kupungua.
Ubora wa sauti unaoongoza kwa jumla: HelixBench ina matokeo bora katika vipimo vyake vikuu, na katika majaribio ya upendeleo ya watumiaji, matukio yenye sauti yaliwashinda washindani kwa kiwango cha upendeleo cha 67.9%.

Tovuti rasmi ya mradi: https://helixworld.org/
Hazina ya GitHub: https://github.com/NoizAI/HelixWorld
Karatasi ya kiufundi ya arXiv: https://arxiv.org/pdf/2609.38123

Prototipu za michezo ya kuzama: Bila kuhitaji uundaji wa miundo au injini, ingiza picha ili kuzalisha ulimwengu wazi unaoweza kutembelewa na kuchunguzwa, na kufupisha kwa kiasi kikubwa muda wa kutengeneza onyesho la mchezo.
Nafasi pepe za VR/AR: Mchanganyiko wa mtazamo wa mtu wa kwanza na sauti ya anga unafaa kiasili kwa vifaa vya kuvaliwa kichwani, na unaweza kuzalisha kwa haraka kumbi pepe za maonyesho na mazingira pacha ya kidijitali.
Uhakiki wa awali wa filamu na matangazo: Mkurugenzi anaweza kupakia picha ya dhana ili “kuingia” kwenye tukio na kusikiliza na kuona athari za sauti na picha, na kuthibitisha kwa gharama ndogo lugha ya kamera na muundo wa anga kabla ya upigaji halisi.
Mandharinyuma ya simu za video za AI na watangazaji pepe: Zalisha kwa wakati halisi mandharinyuma na athari za sauti zinazolingana na sauti na mwingiliano, badala ya skrini ya kijani na nyenzo zisizobadilika.
Mafunzo na uigaji wa akili iliyojumuishwa mwilini: Kama kiigaji cha ulimwengu unaoingiliana, hutoa mazingira ya mafunzo ya gharama nafuu yenye mrejesho wa sauti na mwanga kwa roboti na uendeshaji wa kiotomatiki, na kusaidia kujifunza kanuni za mwingiliano wa kimwili.