WorldCast Inafanya kazi

WorldCast ni modeli ya kutengeneza video iliyotolewa kama chanzo huria kwa ushirikiano wa Chuo Kikuu cha Wuhan na Xiaomi. Ukiingiza picha moja ya marejeo ya mhusika, mfuatano wa kamera unaolengwa na picha 1–4 za nanga kutoka pembe zozote, inaweza kutengeneza video ambapo kamera inamzunguka mhusika kwa digrii 360 bila kupoteza utambulisho wake. WorldCast hutumia mbinu mbili kufanikisha hili: mbinu moja hushughulikia mfuatano wa kamera, ikibadilisha picha ya marejeo kuwa wingu la pointi na kutoa mwongozo wa fremu kwa fremu kwenye mfuatano; nyingine hushughulikia uthabiti wa pembe mbalimbali kwa kuhifadhi picha za nanga kama kumbukumbu inayoweza kutafutwa. Kamera inapogeukia upande fulani, taarifa za upande huo hurejeshwa, hivyo kuzuia uso kubadilika mhusika anapokuwa amegeukia kamera.

Udhibiti wa kamera kwa pembe pana: Ukiingiza mfuatano wa kamera unaolengwa, kamera inaweza kumzunguka mhusika, kusogea karibu au mbali, na kufanya mzunguko wa duara; inasaidia hadi mzunguko kamili wa digrii 360.
Uthabiti wa utambulisho kutoka pembe mbalimbali: Katika video inayozalishwa, sura, mtindo wa nywele na mavazi ya mhusika hudumisha utambulisho uleule kutoka pembe yoyote.
Ukamilishaji kwa picha za nanga za pembe mbalimbali: Inapokea picha 1–4 za nanga kutoka pembe zozote kama taarifa ya ziada, hasa kukamilisha upande ambao hauonekani katika picha moja ya marejeo.
Uzalishaji wenye masharti mawili ya maandishi na picha: Huchanganya kidokezo cha maandishi na picha ya awali ya mhusika ili kuzalisha fremu zinazofuata zenye maudhui yanayodhibitika kwenye mfuatano, kwa matumizi kama maonyesho ya wahusika na majaribio ya awali ya upigaji picha pepe.

Fuata akaunti kwenye WeChat na ujibu “开源” ili ujiunge na kikundi cha majadiliano ya miradi huria ya AI
Mwongozo wa kijiometri unaolinganishwa na mfuatano: Hutumia kikadiriaji cha kina kilichofunzwa awali kukadiria kina kutoka kwa picha ya marejeo ya mwanzo, kisha kubadilisha picha hiyo kwa kuirejesha nyuma kuwa wingu la pointi za 3D lenye rangi. Kupitia urekebishaji, hupata kipimo kinachofanya mwendo wa uonyeshaji ulingane vyema na mfuatano unaolengwa, kisha hutumia point splatting pamoja na bafa ya kina kuonyesha fremu za RGB za mwongozo na vinyago vya ufunikaji kwenye mfuatano. Wakati huohuo, hutumia usimbaji wa miale ya Plücker kuwakilisha taarifa za kijiometri za kamera inayolengwa, na kuunganisha taarifa hizi za vituo na latent zenye kelele pamoja na masharti ya fremu ya mwanzo kabla ya patch embedding. Kinyago cha ufunikaji huashiria pikseli ambazo hazijafunikwa na wingu la pointi, na kuuelekeza jenereta kujaza kwa uhuru maeneo hayo.
Uangalifu wa kumbukumbu uliolinganishwa kijiometri (GAMA): Hufanya utenganishaji wa mandhari ya mbele na ukadiriaji wa kijiometri kwenye picha ya mwanzo na picha za nanga, kisha hutumia ulinganishaji wa Umeyama kuweka kamera za nanga katika mfumo uleule wa kuratibu wa mfuatano unaolengwa. Kila mwonekano husimbwa na VAE na kuongezewa uwakilishi wa miale ya Plücker, kisha huunganishwa kuwa “kumbukumbu ya mhusika iliyolinganishwa kijiometri”. Baada ya kila bloku ya 0, 2, …… na 38 katika backbone, huingiza bloku 20 za uangalifu wa kumbukumbu, zinazoruhusu tokeni za video na tokeni za kumbukumbu kufanya uangalifu wa pamoja wa kibinafsi na kurejesha ushahidi wa kijiometri unaokamilishana kulingana na pembe ya sasa. Tawi la mabaki hutumia uanzishaji wa sufuri, hivyo backbone iliyofunzwa awali haisumbuliwi mwanzoni mwa mafunzo. Majaribio ya ablation yanaonyesha kuwa kuondoa GAMA hupunguza ufanano wa utambulisho kutoka 0.555 hadi 0.370.
Mafunzo ya hatua mbili na uundaji wa data: Katika hatua ya kwanza, uwezo wa kudhibiti kamera hufunzwa kwa mfuatano wa mwendo wa kamera wa UE5 50,000 uliotengenezwa kwa usanisi. Ablation inaonyesha kuwa kuondoa data hii kunazidisha kosa la mfuatano ATE kutoka 0.100 hadi 0.359, na masharti ya Plücker pia ni muhimu. Katika hatua ya pili, uangalifu wa kumbukumbu hufunzwa kwa data 30,000 za uonyeshaji wa nanga za pembe mbalimbali za Blender, zikiwa na wahusika 99 na mazingira 33, kwa jumla ya sampuli 80,000. Kila sampuli pia hutolewa ikiwa na video ya marejeo, RGB-D ya mwanzo, vigezo vya ndani na nje vya kamera, mwongozo wa uonyeshaji na kinyago cha ufunikaji.

Clone hazina: git clone https://github.com/PixCtrol/WorldCast kisha ingia kwenye saraka hiyo.
Sanidi mazingira: Andaa Python ≥3.10 na GPU ya CUDA inayotumia bf16, kisha tekeleza pip install -r requirements.txt.
Pakua uzani: Pakua msingi wa Wan2.1-I2V-14B-720P kutoka HuggingFace na uuweke kwenye pretrained/Wan2.1-I2V-14B-720P/, kisha weka base_dit.safetensors na worldcast_bank.safetensors kwenye checkpoints/.
Andaa ingizo: Weka picha 1 ya marejeo ya mhusika na picha 1–4 za nanga, kisha bainisha njia za picha, kidokezo cha maandishi na mfuatano wa kamera katika manifest (faili ya orodha).
Endesha uelekezaji: Tekeleza python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensors ili kuzalisha video.
Uchakataji wa kundi na ubinafsishaji: Kwa uelekezaji wa kundi, rejelea scripts/infer/infer_worldcast.py na launch/infer/run_anchor_inference_example.sh; mfuatano unaweza kuzalishwa kwa scripts/data/trajectories.py.

Uthabiti bora zaidi wa utambulisho kutoka pembe mbalimbali: Kwenye kipimo cha CLACT kilichojengwa na waandishi, ufanano wa utambulisho wa ArcFace ulifikia 0.555, ukiwashinda wazi misingi kama Uni3C; hata kamera inapozunguka nyuma ya mhusika, “uso haubadiliki”.
Usahihi wa juu zaidi wa udhibiti wa kamera: Makosa ya mfuatano ATE 0.065, RTE 0.020 na RRE 0.896 yote ni bora zaidi kati ya mbinu zilizolinganishwa, huku ikiunga mkono mzunguko kamili wa hadi digrii 360.
Muundo maalumu kwa matukio ya pembe pana: Kupitia utafutaji wa kumbukumbu za picha za nanga, hukamilisha kwa uwazi taarifa za “upande wa nyuma” usioonekana katika picha moja, ikiwa imeundwa mahsusi kutatua kupotea kwa utambulisho kwenye mfuatano wa pembe pana.
Mchango wa mbinu unaoweza kuthibitishwa: Ablation inaonyesha kuwa kuondoa uangalifu wa kumbukumbu wa GAMA hupunguza ArcFace kutoka 0.555 hadi 0.370; chanzo cha faida ya uthabiti wa pembe mbalimbali kiko wazi na si cha kubahatisha.
Uwazi kamili wa mradi: Karatasi ya utafiti, msimbo wa uelekezaji na uzani wa modeli zote zinapatikana chini ya leseni ya Apache-2.0, jambo linaloufanya kuwa mradi adimu ulio wazi kikamilifu katika eneo la udhibiti wa kamera.

Tovuti rasmi ya mradi: https://pixctrol.github.io/WorldCast/
Hazina ya GitHub: https://github.com/PixCtrol/WorldCast
Hazina ya modeli ya HuggingFace: https://huggingface.co/ly56/worldcast
Karatasi ya kiufundi ya arXiv: https://arxiv.org/pdf/2610.33135

Maonyesho ya mhusika kwa kumzunguka: Kamera humzunguka mhusika pepe kwa digrii 360, huku maelezo ya mwonekano wa mavazi, sanamu za kukusanya na sanamu pepe yakibaki thabiti.
Jaribio la awali la upigaji picha pepe: Kabla ya upigaji picha halisi, tumia mbadala wa mhusika kujaribu mwendo wa kamera kwenye mfuatano uliopangwa wa nafasi za kamera, kuthibitisha athari ya storyboard na kupunguza gharama ya majaribio.
Video ya binadamu dijitali yenye uthabiti wa pembe mbalimbali: Tengeneza maudhui ya binadamu dijitali akigeuka, akionekana kwa upande au kutoka nyuma, huku “uso uleule” ukidumishwa kwa matumizi katika watangazaji pepe na video za matangazo ya utambulisho.
Uhuishaji wa wahusika wa michezo: Tengeneza uhuishaji wa kamera inayomzunguka mhusika kwa video za mpito za mchezo au kurasa za maonyesho ya wahusika, na kuepuka gharama ya kurudia ya uundaji na uonyeshaji wa modeli kutoka pembe nyingi.
Uhuishaji wa bidhaa za biashara mtandaoni: Tengeneza video za bidhaa zikizungushwa kwa matumizi kwenye kurasa za maelezo na katika utengenezaji wa nyenzo za matangazo.