H3-World Faoliyat yuritmoqda

H3-World — Tencent kompaniyasi Singapur Milliy universiteti va Gonkong politexnika universiteti bilan hamkorlikda ishlab chiqqan, harakatlar orqali boshqariladigan dunyo modeli bo‘lib, 33B parametrli MiniMax-H3 video generatori asosida nozik sozlangan. Model klaviatura amallarini inglizcha buyruqlarga tarjima qiladi, ularni oldindan o‘qitilgan matn yo‘li orqali modelga kiritadi va vaqt bo‘yicha diqqatni yo‘naltirish mexanizmi yordamida har bir buyruqni tegishli video kadrlari bilan bog‘laydi. Shu tariqa vaqt bo‘yicha aniq boshqaruv ta’minlanadi. H3-World atigi 8000 ta o‘yin videosidan foydalanadi va rank-32 LoRA orqali parametrlarning 0,199 foizini nozik sozlaydi. Natijada model klaviatura kiritmalariga ko‘ra real vaqt rejimida boshqariladigan tasvirlar yaratadi va ko‘rilmagan sahnalarga ham umumlashtira oladi. Bu interaktiv generativ dunyolar sari muhim qadamdir.

Klaviatura harakatlarini videoni boshqarishga aylantirish: klaviatura orqali berilgan qahramon harakati va kamera boshqaruvini mos video tasviri o‘zgarishlariga aylantirib, “tugmani bosish orqali boshqariladigan” interaktiv dunyo simulyatsiyasini ta’minlaydi.
Vaqt bo‘yicha aniq boshqaruv: bir videoning turli vaqt qismlarida turli harakat buyruqlarini bajarib, harakat qachon sodir bo‘lishini aniq boshqaradi.
Turli muhitlarga umumlashtirish: o‘yin tasvirlari asosida o‘qitilgan bo‘lsa-da, neon shahar, cho‘l vohasi, fantastik cherkov kabi xilma-xil vizual muhitlarga umumlashadi va sahna mazmunini barqaror saqlaydi.
Kompozitsion harakatlarga umumlashtirish: o‘qitish jarayonida ko‘rilgan qahramon va kamera harakati elementlarini ilgari uchramagan harakat juftliklariga birlashtira oladi.
Uzoq davomli generatsiya: uzluksiz boshqariladigan uzunroq videolarni yaratishni qo‘llab-quvvatlaydi, harakat buyruqlari tasvir rivojini davomli ravishda boshqaradi.

WeChat’da kuzatib boring va “开源” deb javob yuboring, AI ochiq manba loyihalari guruhiga qo‘shiling.
Harakatlarni til orqali ifodalash: har bir kadrdagi klaviatura amalini qisqa inglizcha buyruqqa, masalan, “strafe left”ga tarjima qiladi va harakatni tabiiy til shaklida ifodalaydi.
Oldindan o‘qitilgan matn yo‘lidan foydalanish: buyruqlar MiniMax-H3’ning mavjud matn kodlash yo‘li orqali modelga kiritiladi. Shu sababli video uchun oldindan o‘qitish bosqichida o‘zlashtirilgan semantik tasvirlardan bevosita foydalaniladi va model harakat ma’nosini tabiiy ravishda tushunadi; harakat kodlashni boshidan o‘rganish talab qilinmaydi.
Vaqt bo‘yicha diqqatni yo‘naltirish: yo‘naltirilgan diqqat niqobi orqali har bir buyruq unga mos video latent kadr bilan bog‘lanadi. Buyruqning ta’siri belgilangan vaqt oralig‘i bilan cheklanadi va qo‘shni harakatlar o‘rtasida boshqaruv sizib chiqishining oldi olinadi. Bu vaqt bo‘yicha aniq boshqaruvning asosiy shartidir.
Yengil LoRA orqali nozik sozlash: H3 o‘z-o‘ziga diqqat proyeksiyalarida faqat rank-32 LoRA o‘qitiladi. 0,199 foiz o‘qitiladigan parametr, 8000 ta o‘yin videosi va 10000 ta optimallashtirish qadami yordamida moslashtirish amalga oshiriladi. Bu video generatorini dunyo modeliga aylantirish xarajatlarini keskin kamaytiradi.

1-usul: Onlayn sinov
2-usul: Mahalliy o‘rnatish
Hugging Face’dagi interaktiv Space demosini (hugging-apps/h3-world-action-demo) oching. 135GB hajmdagi og‘irliklarni yuklab olmasdan, klaviatura orqali boshqaruvni sinab ko‘rish mumkin.
Boshlang‘ich kadr tasvirini yuklang yoki tanlang va sahna tavsifi promptini kiriting.
Oldindan belgilangan harakatlar yoki klaviatura tugmalari (qahramon harakati + kamera boshqaruvi) orqali boshqaruv buyruqlarini kiriting.
Model real vaqt rejimida taxminan 5,2 soniyalik, 832×480 o‘lchamdagi boshqariladigan video parchasini yaratadi.
Muhitni tayyorlash: Python 3.10 + CUDA 12.8 asosidagi conda muhitini yarating, PyTorch 2.10 va requirements.txt bog‘liqliklarini o‘rnating.
Kodni olish: H3-World rasmiy repozitoriysini klonlang, DiffSynth-Studio’ni belgilangan katalogga klonlang, ko‘rsatilgan commit’ga o‘ting va rasmiy attention patch’ini qo‘llang (buni o‘tkazib yuborish mumkin emas, aks holda LoRA ishlamaydi).
Og‘irliklarni yuklab olish: Hugging Face’dan MiniMax-H3 bazaviy og‘irliklarini (taxminan 135GB) va H3-World LoRA’ni (step-10000.safetensors) yuklab olib, repozitoriyning tegishli kataloglariga joylashtiring.
Keshni sozlash: env.sh skriptini ishga tushirib, Hugging Face, Torch va Triton keshlarini repozitoriy ichidagi kataloglarga yo‘naltiring.
Inferensni ishga tushirish: boshlang‘ich kadr tasviri, statik semantik shartlar va vaqt jadvali ko‘rinishidagi harakatlar ketma-ketligini taqdim eting. Har bir qism qahramon yoki kamera buyrug‘iga mos keladi.
Natijani yaratish: model harakatlar jadvaliga muvofiq tegishli vaqt ketma-ketligidagi video latentlarini yaratadi va dekodlab chiqaradi; undan ham uzunroq vaqt oralig‘iga avto-regressiv kengaytirish mumkin.

Yangi modullarsiz nafis dizayn: oldindan o‘qitilgan matn yo‘lidan bevosita foydalanib, harakatni boshqarish muammosini model allaqachon yaxshi uddalaydigan tilni tushunish vazifasiga aylantiradi.
O‘ta yengil o‘qitish xarajati: atigi 8000 ta o‘yin videosi, 10000 ta optimallashtirish qadami va rank-32 LoRA orqali parametrlarning 0,199 foizini nozik sozlash bilan 33B modelning interaktiv boshqaruv imkoniyatini ochadi.
Vaqt bo‘yicha aniq boshqaruv: vaqt bo‘yicha diqqatni yo‘naltirish yordamida bir videoda turli harakatlarni jadval asosida bajaradi va global prompt harakat vaqtini aniq boshqara olmasligi muammosini hal qiladi.
An’anaviy shart kiritish usullaridan sezilarli ustunlik: additive-bias, FiLM kabi bevosita harakat shartlari bilan taqqoslaganda, tilga asoslangan usul muvofiqlashtirilgan qahramon va kamera harakatlarini yaratadi hamda sahna mazmunini buzmaydi.
Kuchli kompozitsion umumlashtirish: o‘qitish jarayonida ko‘rilgan harakat elementlarini ilgari uchramagan harakat juftliklariga birlashtirib, taqsimotdan tashqari vizual muhitlarga ham umumlashadi.
Keng qo‘llanish imkoniyati: bitta model birinchi va uchinchi shaxs ko‘rinishi, qahramon harakati hamda kamera harakati kabi turli boshqaruv turlarini qayta ishlay oladi; har bir vazifa uchun alohida o‘qitish talab etilmaydi.

Loyiha rasmiy sayti: https://danzer1xxxxchan.github.io/H3-World/
GitHub repozitoriysi: https://github.com/Danzer1xxxxChan/H3-World
HuggingFace model kutubxonasi: https://modelscope.cn/models/DANNY621/H3-World
Texnik maqola: https://modelscope.cn/papers/2609.01560

O‘yin prototiplarini ishlab chiqish: dizayner boshlang‘ich tasvirni kiritib, virtual sahnani real vaqt rejimida “o‘ynashi”, daraja konsepsiyasi va kamera tilini tezda tekshirishi mumkin; avval to‘liq o‘yin dvigatelini yaratish shart emas.
AI agentlarini o‘qitish sandboxi: mujassam intellekt agentlariga interaktiv virtual muhit taqdim etadi. Agent klaviatura harakatlari orqali dunyoni o‘rganadi va vizual fikr-mulohaza oladi, bu esa real dunyoda o‘qitish xarajatlarini kamaytiradi.
Kino va animatsiya previzi: rejissyor virtual kamerani klaviatura orqali boshqaradi, masalan, burish, siljitish va ko‘tarish-tushirish amallarini bajaradi; kadrlar ketma-ketligi ko‘rinishini real vaqt rejimida yaratib, dastlabki previz ishlab chiqish davrini sezilarli qisqartiradi.
Robot operatsiyalari strategiyasini tekshirish: robot qo‘li yoki dron harakatlari buyruqlarini harakat tiliga aylantirib, yaratilgan simulyatsiya muhitida harakatlar ketma-ketligining vaqt bo‘yicha mantiqiyligini sinovdan o‘tkazadi.
Immersiv kontent yaratish: VR va o‘yin interaksiyasi bilan birgalikda foydalanuvchilarga oddiy tugmalar orqali shaxsiylashtirilgan virtual dunyo rivojini boshqarish imkonini beruvchi UGC vositasi; har kim “o‘ynaladigan video” yaratishi mumkin.