WorldCast Faoliyat yuritmoqda

WorldCast — Uxan universiteti va Xiaomi tomonidan ochiq manbaga chiqarilgan video generatsiya modeli bo‘lib, bitta qahramon reference tasviri, maqsadli kamera trayektoriyasi va 1–4 ta ixtiyoriy rakursdagi tayanch tasvirni kiritish orqali kamera qahramon atrofida 360 daraja aylanadigan va qahramon shaxsi buzilmaydigan video yaratadi. WorldCast buni ikki mexanizm orqali amalga oshiradi: birinchi mexanizm kamera trayektoriyasini boshqarib, reference tasvirni nuqtalar bulutiga aylantiradi va trayektoriya bo‘ylab kadrma-kadr yo‘naltiradi; ikkinchi mexanizm turli rakurslarni boshqarib, tayanch tasvirlarni qidiriladigan xotira sifatida saqlaydi. Kamera qaysi tomonga burilsa, o‘sha tomondagi ma’lumotni chaqiradi va kamera qahramonning orqa tomoniga o‘tganda yuzning o‘zgarib ketishining oldini oladi.

Katta burchakli kamera boshqaruvi: maqsadli kamera trayektoriyasini kiritib, obyektivni qahramon atrofida aylantirish, yaqinlashtirish, uzoqlashtirish va aylanma harakatlantirish mumkin; maksimal 360 darajali to‘liq aylanish qo‘llab-quvvatlanadi.
Turli rakurslarda shaxsning izchilligi: yaratilgan videoda qahramonning yuz tuzilishi, soch turmagi va kiyimi istalgan rakursda bir xil shaxsni saqlab qoladi.
Ko‘p rakursli tayanch tasvirlar bilan to‘ldirish: bitta reference tasvirda ko‘rinmaydigan tomonlarni to‘ldirish uchun 1–4 ta ixtiyoriy rakursdagi tayanch tasvir qabul qilinadi.
Matn va tasvir asosida ikki shartli generatsiya: matnli prompt va boshlang‘ich qahramon tasvirini birlashtirib, trayektoriya bo‘ylab boshqariladigan davomiy kadrlarni yaratadi; qahramon taqdimoti, virtual suratga olish prevyusi kabi vaziyatlarga mos.

WeChat’da kuzatib, “开源” deb javob yuboring va AI ochiq manba loyihalari guruhiga qo‘shiling
Trayektoriyaga moslashtirilgan geometrik yo‘naltirish: boshlang‘ich reference tasvirdan chuqurlikni baholash uchun oldindan o‘qitilgan depth estimator ishlatiladi va tasvir rangli uch o‘lchamli nuqtalar bulutiga teskari proyeksiya qilinadi; render harakati maqsadli trayektoriyaga eng mos keladigan masshtab kalibrlash orqali topiladi. Point splatting va depth buffer yordamida trayektoriya bo‘ylab kadrma-kadr RGB yo‘naltiruvchi tasvir hamda qoplama maskasi render qilinadi. Shu bilan birga, maqsadli kameraning geometrik ma’lumotlari Plücker nurlari kodlashi orqali ifodalanib, shovqinli latent o‘zgaruvchi va boshlang‘ich kadr sharti bilan patch embedding’dan oldin kanallar bo‘yicha birlashtiriladi. Qoplama maskasi nuqtalar buluti qamrab olmagan piksellarni belgilab, generatorda qaysi hududlarni erkin to‘ldirish kerakligini ko‘rsatadi.
Geometrik moslashtirilgan xotira diqqati (GAMA): boshlang‘ich va tayanch tasvirlar uchun foreground segmentatsiyasi hamda geometrik baholash bajariladi; Umeyama moslashtirishi yordamida barcha tayanch kameralar maqsadli trayektoriyaning yagona koordinatalar tizimiga joylashtiriladi. Har bir kuzatuv VAE orqali kodlanib, Plücker nurlari ifodasi qo‘shilgach, bitta “geometrik moslashtirilgan qahramon xotirasi”ga birlashtiriladi. Backbone’ning 0-, 2-, …, 38-bloklaridan keyin 20 ta xotira diqqati bloki qo‘shiladi. Ular video tokenlari va xotira tokenlari o‘rtasida birgalikdagi self-attention bajarib, joriy rakursga mos qo‘shimcha geometrik dalillarni qidiradi; residual tarmoq nol bilan ishga tushiriladi, shuning uchun o‘qitishning dastlabki bosqichida oldindan o‘qitilgan backbone’ga ta’sir qilmaydi. Ablatsiya tajribasi GAMA olib tashlanganda shaxs o‘xshashligi 0.555 dan 0.370 gacha tushishini ko‘rsatdi.
Ikki bosqichli o‘qitish va ma’lumotlar yaratish: birinchi bosqichda kamera boshqaruvi qobiliyati 50 mingta UE5 sintetik kamera harakati ketma-ketligida o‘qitiladi. Ablatsiya natijalariga ko‘ra, bu ma’lumotlar olib tashlansa, trayektoriya xatosi ATE 0.100 dan 0.359 gacha yomonlashadi; Plücker sharti ham muhim. Ikkinchi bosqichda xotira diqqati 30 mingta Blender ko‘p rakursli tayanch render ma’lumotlarida o‘qitiladi. Ular 99 ta qahramon va 33 ta muhitni qamrab oladi, jami 8万 ta namunadan iborat bo‘lib, har bir namuna uchun reference video, boshlang‘ich RGB-D, kameraning ichki va tashqi parametrlari, render yo‘naltiruvchisi hamda qoplama maskasi taqdim etiladi.

Repository’ni klonlash: git clone https://github.com/PixCtrol/WorldCast buyrug‘ini bajaring va katalogga kiring.
Muhitni sozlash: Python ≥3.10 va bf16’ni qo‘llab-quvvatlaydigan CUDA videokartasini tayyorlang, so‘ng pip install -r requirements.txt buyrug‘ini bajaring.
Og‘irliklarni yuklab olish: HuggingFace’dan Wan2.1-I2V-14B-720P bazaviy modelini yuklab, pretrained/Wan2.1-I2V-14B-720P/ ichiga joylang. base_dit.safetensors va worldcast_bank.safetensors fayllarini checkpoints/ ichiga qo‘ying.
Kirish ma’lumotlarini tayyorlash: 1 ta qahramon reference tasviri va 1–4 ta tayanch tasvirni joylang. manifest’da (manifest faylida) tasvir yo‘llari, matnli prompt va kamera trayektoriyasini ko‘rsating.
Inference’ni ishga tushirish: video yaratish uchun python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensors buyrug‘ini bajaring.
Ommaviy va maxsus ishlov: ommaviy inference uchun scripts/infer/infer_worldcast.py va launch/infer/run_anchor_inference_example.sh fayllariga qarang; trayektoriyani scripts/data/trajectories.py yordamida yaratish mumkin.

Rakurslar bo‘yicha shaxs izchilligi eng kuchli: mustaqil CLACT benchmarkida ArcFace shaxs o‘xshashligi 0.555 ga yetib, Uni3C va boshqa bazaviy usullardan ancha yuqori natija ko‘rsatadi; kamera qahramonning orqa tomoniga o‘tganda ham yuz “o‘zgarib ketmaydi”.
Kamera boshqaruvi aniqligi eng yuqori: ATE 0.065, RTE 0.020 va RRE 0.896 bo‘lgan trayektoriya xatolari taqqoslangan usullar orasida eng yaxshi; maksimal 360 darajali to‘liq aylanishni qo‘llab-quvvatlaydi.
Katta burchakli sahnalar uchun maxsus dizayn: tayanch tasvirlar xotirasini qidirish orqali bitta tasvirda ko‘rinmaydigan “orqa tomon” ma’lumotlarini aniq to‘ldiradi va katta burchakli trayektoriyalarda shaxsning buzilishi muammosini hal qilish uchun yaratilgan.
Mexanizm hissasi tasdiqlangan: ablatsiya GAMA xotira diqqatini olib tashlaganda ArcFace 0.555 dan 0.370 gacha keskin tushishini ko‘rsatadi; turli rakurslardagi izchillik foydasining manbai aniq.
Ochiqlik darajasi to‘liq: maqola, inference kodi va model og‘irliklari to‘liq mavjud hamda Apache-2.0 litsenziyasi asosida ochiq taqdim etilgan. Bu kamera boshqaruvi yo‘nalishida kam uchraydigan to‘liq ochiq ishdir.

Loyiha rasmiy sayti: https://pixctrol.github.io/WorldCast/
GitHub repository: https://github.com/PixCtrol/WorldCast
HuggingFace model kutubxonasi: https://huggingface.co/ly56/worldcast
arXiv texnik maqolasi: https://arxiv.org/pdf/2610.33135

Qahramonni aylanib ko‘rsatish: kamera virtual qahramon atrofida 360 daraja aylanib, kiyim, kolleksiya figurasi va virtual idol tashqi ko‘rinishidagi tafsilotlarni izchil namoyish etadi.
Virtual suratga olish prevyusi: haqiqiy suratga olishdan oldin qahramon o‘rnini bosuvchi obraz yordamida rejalashtirilgan kamera pozitsiyasi trayektoriyasi bo‘ylab harakatni sinab ko‘rish, kadrlar ketma-ketligi natijasini tekshirish va haqiqiy suratga olishdagi sinov xarajatlarini kamaytirish mumkin.
Raqamli insonning ko‘p rakursli izchil videolari: raqamli insonning burilishi, yon profili va orqa ko‘rinishi kabi ko‘p rakursli materiallarni yaratib, “bir xil yuz”ni saqlab qoladi; virtual boshlovchilar va imij roliklari uchun mos.
O‘yin qahramonlari animatsiyasi: o‘yin cutscene’lari yoki qahramon taqdimoti sahifalari uchun aylanma kamera animatsiyasini yaratib, an’anaviy ko‘p rakursli modellashtirish va renderning takroriy xarajatlarini kamaytiradi.
Elektron tijorat mahsulotlari animatsiyasi: mahsulot atrofida aylanuvchi taqdimot videosini yaratib, mahsulot sahifalari va reklama materiallarida foydalanish imkonini beradi.