Matrix-Game 4.0 Inafanya kazi

Matrix-Game 4.0 ni mchezo wa kwanza duniani wa modeli kubwa ya video unaoendeshwa kwenye kadi moja ya picha ya kiwango cha watumiaji, uliotengenezwa na Kunlun Wanwei. Unatumia paradigma mpya ya “Harness”, ambapo injini ya mchezo hutumika kama mwamuzi wa kudumisha hali na sheria za ulimwengu, Coding Agent hutumia lugha ya asili kubadilisha uchezaji, na modeli ya video hutoa picha za kina kwa wakati halisi. Kwa RTX 5090 moja, Matrix-Game 4.0 inaweza kutoa uzoefu wa mchezo wa 480p, 60 FPS na ucheleweshaji wa chini ya milisekunde 150, na kufanya uwezekano wa timu ndogo kujenga ulimwengu kuwa halisi.

Uendeshaji wa wakati halisi kwenye kadi moja: RTX 5090 moja inatosha kutoa uzoefu wa mchezo unaoweza kuchezwa wa 480p, 60 FPS na ucheleweshaji wa chini ya milisekunde 150.
Kubadilisha uchezaji kwa lugha ya asili: Tumia Coding Agent na amri moja kurekebisha mandhari, tabia za NPC au kubuni sheria mpya kabisa za uchezaji.
Usimamizi dhahiri wa hali ya ulimwengu: Injini ya mchezo hutumia msimbo kudumisha hali kama afya, mkoba, migongano, ushindi na kushindwa; vitu huendelea kubadilika hata vinapotoka kwenye eneo la kuonekana.
Kubadilisha miundo rahisi kuwa picha za kina: Modeli ya video hutoa upya picha za kijiometri kutoka kwenye injini kwa wakati halisi, na kuzibadilisha kuwa picha za kiwango cha 3A zenye mwanga, vivuli na nyenzo.
Uchezaji thabiti wa muda mrefu: Inasaidia uchezaji usiokatizwa wa sekunde 54-99, huku mandhari, utambulisho wa wahusika na matokeo ya mwingiliano vikibaki thabiti bila kugeuka.

Fuatilia WeChat na ujibu “开源” ili ujiunge na kikundi cha mawasiliano cha miradi huria ya AI
Usanifu wa Harness: Mfumo huifungia modeli ya video ndani ya Harness inayoundwa na Coding Agent na injini ya mchezo. Injini hushughulikia mabadiliko ya hali ndani ya sheria na kutoa picha za kimuundo, Coding Agent hubadilisha nia ya mtumiaji kuwa sheria mpya na vidokezo vilivyoboreshwa, huku modeli ya video ikijikita kwenye uonyeshaji; majukumu ya vipengele hivi vitatu yametenganishwa.
Data ya kulinganisha picha za kimuundo na za kina: Seti ya data ya vikoa mbalimbali hujengwa kwa UE5. Bomba jepesi la ukusanyaji wa miundo ya kijiometri hurahisisha mandhari changamano kuwa uwakilishi wa muundo rahisi unaohifadhi topolojia ya anga, na kuulinganisha pikseli kwa pikseli na picha za muundo wa kina katika kila fremu, huku likinasa kwa wakati mmoja vitambulisho vya matukio na metadata ya matukio ya kisababishi.
Caption inayobadilika: Mfumo huunganisha kitambulisho cha kitu na maelezo yake ya kisemantiki. Wakati wa utekelezaji, husoma vitu vinavyoonekana na hali zao za wakati halisi kutoka kwenye injini na kuzijaza kwenye kiolezo cha vidokezo, kisha hushirikiana na picha ya kimuundo kutoa masharti ya kile cha kuchora na mahali pa kuchora.
Uzalishaji unaodhibitiwa wa V2V: Kwa kurekebisha Wan2.2 5B, picha ya kimuundo na video inayotarajiwa kutengenezwa huunganishwa kuwa ingizo la njia 148 kwa DiT ya kisababishi yenye tabaka 30. Umakini wa kibinafsi husoma kumbukumbu ya anga na akiba ya kihistoria ya KV, huku umakini mtambuka ukisoma masharti ya maandishi, na uzalishaji wa kiotomatiki ukifanyika kwa vipande mfululizo.

Wakati halisi kwenye kadi moja ya kiwango cha watumiaji: RTX 5090 moja hutoa 480p, 60 FPS na ucheleweshaji wa 112ms, na kuifanya michezo ya modeli za video itoke kwa mara ya kwanza kwenye makundi ya kadi nyingi ya maabara.
Hali ya ulimwengu inaweza kudhibitiwa dhahiri: Injini ya mchezo hutumia msimbo kudumisha sheria za ulimwengu; hali inaweza kusomwa, kurekebishwa na kuthibitishwa, hivyo kutatua kabisa tatizo la kizazi kilichopita ambapo ulimwengu uliishi tu kwenye kumbukumbu ya modeli na kubadilika bila uthabiti.
Kubadilisha uchezaji kwa sentensi moja: Coding Agent hubadilisha moja kwa moja amri ya lugha ya asili kuwa sheria na msimbo wa mchezo, hivyo uboreshaji wa ubunifu hauzuiliwi tena na mchakato wa kutengeneza rasilimali za 3D.
Uthabiti wa muda mrefu: Kumbukumbu ya anga + fremu za marejeo + utaratibu wa Caption inayobadilika huhakikisha kuwa muundo wa mandhari na utambulisho wa vitu haviharibiki wakati wa uchezaji mrefu.
Utendaji unaoongoza kwa tofauti kubwa: Ucheleweshaji ni takriban 1/90 wa Code World Model na 1/5 wa StreamRender-H3, huku huu ukiwa ndio suluhisho pekee la kiwango cha watumiaji upande wa kulinganisha.

Wakati halisi kwenye kadi moja ya kiwango cha watumiaji: RTX 5090 moja hutoa 480p, 60 FPS na ucheleweshaji wa 112ms, na kuifanya michezo ya modeli za video itoke kwa mara ya kwanza kwenye makundi ya kadi nyingi ya maabara.
Hali ya ulimwengu inaweza kudhibitiwa dhahiri: Injini ya mchezo hutumia msimbo kudumisha sheria za ulimwengu; hali inaweza kusomwa, kurekebishwa na kuthibitishwa.
Kubadilisha uchezaji kwa sentensi moja: Coding Agent hubadilisha moja kwa moja amri ya lugha ya asili kuwa sheria na msimbo wa mchezo, hivyo uboreshaji wa ubunifu hauzuiliwi tena na mchakato wa kutengeneza rasilimali za 3D.
Uthabiti wa muda mrefu: Kumbukumbu ya anga + fremu za marejeo + utaratibu wa Caption inayobadilika huhakikisha kuwa muundo wa mandhari na utambulisho wa vitu haviharibiki wakati wa uchezaji mrefu.
Utendaji unaoongoza kwa tofauti kubwa: Ucheleweshaji ni takriban 1/90 wa Code World Model na 1/5 wa StreamRender-H3, huku huu ukiwa ndio suluhisho pekee la kiwango cha watumiaji upande wa kulinganisha.

Tovuti rasmi ya mradi: https://matrix-game-v4-0.github.io/page/
Hifadhi ya GitHub: https://github.com/SkyworkAI/Matrix-Game.git
Hifadhi ya modeli ya HuggingFace: https://huggingface.co/Skywork/Matrix-Game-4.0

Uundaji wa haraka wa mifano ya michezo: Timu ndogo hueleza uchezaji kwa lugha ya asili, na Coding Agent hutengeneza moja kwa moja Demo ya mchezo inayoweza kuendeshwa, na hivyo kufupisha kwa kiasi kikubwa muda wa kuthibitisha mradi.
Urekebishaji wa mchezo kwa mapendeleo binafsi (UGC): Wachezaji wanaweza kubadilisha sheria na mtindo wa picha kulingana na mapendeleo yao, na kuunda uzoefu wa mchezo unaotofautiana kwa kila mtu.
Elimu na vitendo vya upangaji programu kwa AI: Kama mradi huria, huwasaidia watengenezaji kujifunza usanifu wa Harness wa “injini + modeli ya video” na kuchunguza mfumo wa kuunganisha modeli ya ulimwengu na injini ya mchezo.
Uzalishaji wa maudhui ya mchezo kwa gharama nafuu: Hupunguza utegemezi wa rasilimali za 3D zenye kina na injini kubwa. Watayarishi huru wanaweza kutumia miundo rahisi kutoa picha za kiwango cha sinema, na kupunguza gharama za uzalishaji.