H3-World Inafanya kazi

H3-World ni modeli ya dunia inayodhibitiwa kwa vitendo, iliyotolewa na Tencent kwa ushirikiano na Chuo Kikuu cha Taifa cha Singapore na Chuo Kikuu cha Polytechnical cha Hong Kong, ikiwa imetengenezwa kwa kurekebisha jenereta ya video ya MiniMax-H3 yenye 33B. Modeli hutafsiri vitendo vya kibodi kuwa maagizo ya Kiingereza, huyadunga kupitia njia ya maandishi iliyofunzwa awali, na kutumia uelekezaji wa umakini wa muda kuunganisha kila agizo na fremu husika ya video, hivyo kuwezesha udhibiti sahihi wa muda. H3-World ilitumia video za michezo 8000 pekee na LoRA ya rank-32 kurekebisha 0.199% ya vigezo, ikiwezesha modeli kutoa picha zinazodhibitika kwa wakati halisi kulingana na ingizo la kibodi na kufanya kazi katika matukio ambayo haijawahi kuona. Hii ni hatua muhimu kuelekea ulimwengu wa kuzalisha unaoweza kuingiliana.

Udhibiti wa video kupitia vitendo vya kibodi: Hubadilisha mwendo wa mhusika na uendeshaji wa kamera kutoka kwenye kibodi kuwa mabadiliko yanayolingana ya picha ya video, na kuunda uigaji wa dunia unaoweza kuingiliana ambapo kubonyeza kitufe hudhibiti tukio.
Udhibiti sahihi wa muda: Inaweza kutekeleza maagizo tofauti ya vitendo katika vipindi tofauti vya video hiyo hiyo na kudhibiti kwa usahihi wakati wa kutokea kwa kila kitendo.
Ujumlishaji katika mazingira mengi: Baada ya kufunzwa kwa picha za michezo, inaweza kujumuisha mazingira mbalimbali ya kuona kama miji yenye neon, oasi za jangwani na makanisa ya kifantasia, huku ikihifadhi uthabiti wa maudhui ya tukio.
Ujumlishaji wa vitendo vilivyounganishwa: Inaweza kuchanganya vitendo vya msingi vya mhusika na kamera vilivyoonekana wakati wa mafunzo na kuunda jozi za vitendo ambazo hazikuwahi kutokea, hivyo kuwezesha udhibiti wa mchanganyiko mpya.
Uzalishaji wa muda mrefu: Inasaidia uzalishaji wa video endelevu, ndefu na inayodhibitika; maagizo ya vitendo yanaweza kuendesha mabadiliko ya picha kwa muda mrefu.

Fuata WeChat na ujibu “开源” ili ujiunge na kundi la mawasiliano la miradi huria ya AI
Uwakilishi wa vitendo kwa lugha: Hutafsiri operesheni za kibodi za kila fremu kuwa agizo fupi la Kiingereza, kama “strafe left”, ili vitendo viwakilishwe kwa lugha ya asili.
Kutumia tena njia ya maandishi iliyofunzwa awali: Maagizo huingizwa kwenye modeli kupitia njia ya awali ya usimbaji maandishi ya MiniMax-H3, na kutumia moja kwa moja uwakilishi wa kimaana uliojifunzwa wakati wa mafunzo ya awali ya video. Kwa hiyo modeli huelewa maana ya vitendo kwa asili bila kuhitaji kujifunza usimbaji wa vitendo kutoka mwanzo.
Uelekezaji wa umakini wa muda: Kwa kutumia kinyago maalum cha umakini, kila agizo huunganishwa na fremu zake za latent za video, na athari ya agizo huzuiwa ndani ya kipindi cha muda kilichopangwa. Hii huzuia kuvuja kwa udhibiti kati ya vitendo vilivyo karibu na ni msingi wa udhibiti sahihi wa muda.
Urekebishaji mwepesi wa LoRA: Hufunza LoRA ya rank-32 kwenye makadirio ya umakini binafsi ya H3 pekee, kwa kutumia 0.199% ya vigezo vinavyoweza kufunzwa, video za michezo 8000 na hatua 10000 za uboreshaji. Hii hupunguza kwa kiasi kikubwa gharama ya kubadilisha jenereta ya video kuwa modeli ya dunia.

Njia ya kwanza: Jaribu mtandaoni
Njia ya pili: Usakinishaji wa ndani
Fungua Space ya maonyesho shirikishi kwenye Hugging Face (hugging-apps/h3-world-action-demo); unaweza kujaribu udhibiti unaoendeshwa na kibodi bila kupakua uzani wa 135GB.
Pakia au chagua picha ya fremu ya mwanzo, kisha ingiza prompt ya maelezo ya tukio.
Ingiza maagizo ya udhibiti kupitia vitendo vilivyowekwa awali au vitufe vya kibodi (mwendo wa mhusika + uendeshaji wa kamera).
Modeli huzalisha kwa wakati halisi kipande cha video kinachodhibitika cha takriban sekunde 5.2, chenye ukubwa wa 832×480.
Maandalizi ya mazingira: Unda mazingira ya conda yenye Python 3.10 + CUDA 12.8, kisha sakinisha PyTorch 2.10 na vitegemezi vya requirements.txt.
获取代码：Clone hazina rasmi ya H3-World, na pia clone DiffSynth-Studio kwenye saraka iliyobainishwa, badilisha hadi commit iliyobainishwa kisha tumia kiraka rasmi cha attention (ni lazima; vinginevyo LoRA haitafanya kazi).
Pakua uzani: Pakua uzani wa msingi wa MiniMax-H3 kutoka Hugging Face (takriban 135GB) pamoja na LoRA ya H3-World (step-10000.safetensors), na uziweke kwenye saraka zinazolingana za hazina.
Sanidi akiba: Endesha env.sh ili kuelekeza akiba za Hugging Face, Torch na Triton ndani ya hazina.
Endesha inference: Toa picha ya fremu ya kwanza, hali tuli ya kimaana na mfuatano wa vitendo wenye ratiba ya muda, ambapo kila sehemu inalingana na agizo moja la mhusika au kamera.
Matokeo ya uzalishaji: Modeli huzalisha latent za video za muda zinazolingana na ratiba ya vitendo na kuzisimbua kuwa matokeo; inaweza kupanuliwa kiotomatiki kwa mfuatano mrefu zaidi.

Muundo maridadi usio na moduli mpya: Hutumia moja kwa moja njia ya maandishi iliyofunzwa awali na kubadilisha tatizo la udhibiti wa vitendo kuwa tatizo la uelewaji wa lugha ambalo modeli tayari imelijua.
Gharama ndogo sana ya mafunzo: Kwa kutumia video za michezo 8000 pekee, hatua 10000 za uboreshaji na LoRA ya rank-32 inayorekebisha 0.199% ya vigezo, huwezesha udhibiti shirikishi wa modeli yenye 33B.
Udhibiti sahihi wa muda: Kupitia uelekezaji wa umakini wa muda, inaweza kutekeleza vitendo tofauti kwa ratiba ya muda ndani ya video hiyo hiyo, na kutatua tatizo la prompt ya jumla kushindwa kudhibiti kwa usahihi muda wa kitendo.
Ni bora zaidi kuliko njia za jadi za kuingiza hali: Ikilinganishwa na mbinu za moja kwa moja za kuweka hali ya vitendo kama additive-bias na FiLM, mbinu inayounganisha vitendo na lugha huunda mwendo ulioratibiwa wa mhusika na kamera bila kuharibu maudhui ya tukio.
Uwezo mkubwa wa kujumlisha mchanganyiko: Inaweza kuchanganya vitendo vya msingi vilivyoonekana wakati wa mafunzo na kuunda jozi za vitendo ambazo hazikuwahi kutokea, huku ikijumuisha mazingira ya kuona yaliyo nje ya usambazaji wa mafunzo.
Matumizi mapana: Modeli moja inaweza kushughulikia aina mbalimbali za udhibiti, ikiwemo mtazamo wa mtu wa kwanza na wa tatu, mwendo wa mhusika na mwendo wa kamera, bila mafunzo tofauti kwa kila kazi.

Tovuti rasmi ya mradi: https://danzer1xxxxchan.github.io/H3-World/
Hazina ya GitHub: https://github.com/Danzer1xxxxChan/H3-World
Hazina ya modeli ya HuggingFace: https://modelscope.cn/models/DANNY621/H3-World
Makala ya kiufundi: https://modelscope.cn/papers/2609.01560

Uundaji wa mifano ya michezo: Mbunifu anaweza kuingiza picha ya mwanzo na “kucheza” tukio la mtandaoni kwa wakati halisi, kuthibitisha haraka dhana za viwango na lugha ya kamera bila kwanza kujenga injini kamili ya mchezo.
Sandbox ya mafunzo ya AI Agent: Hutoa mazingira pepe yanayoweza kuingiliana kwa mawakala wenye mwili; agent huchunguza dunia kwa vitendo vya kibodi na kupata mrejesho wa kuona, hivyo kupunguza gharama ya mafunzo katika ulimwengu halisi.
Uhakiki wa awali wa filamu na uhuishaji: Mkurugenzi hudhibiti mwendo wa kamera pepe kwa kibodi (kuzungusha, kusogeza, kuinua na kushusha) na kuzalisha hakiki ya storyboard kwa wakati halisi, hivyo kupunguza kwa kiasi kikubwa muda wa utayarishaji wa awali.
Uthibitishaji wa mikakati ya roboti: Huweka maagizo ya mwendo wa mkono wa roboti au drone kwenye lugha ya vitendo, kisha hujaribu ufaafu wa mpangilio wa muda wa vitendo katika mazingira ya uigaji yaliyotengenezwa.
Uundaji wa maudhui ya kuzama: Kwa kuunganisha mwingiliano wa VR na michezo, hutoa zana ya UGC inayomwezesha mtumiaji kuendesha maendeleo ya dunia pepe iliyobinafsishwa kwa vitufe vya asili; kila mtu anaweza kuzalisha “video inayoweza kuchezwa”.