PixelUMM Inafanya kazi

PixelUMM ni modeli ya umoja ya multimodali isiyokuwa na enkoda, iliyotengenezwa kwa pamoja na NVIDIA na Chuo Kikuu cha Waterloo. Ubunifu wake mkuu ni kuondoa kabisa VAE na enkoda ya kuona, na kutumia Transformer moja ya Decoder-only kusoma na kuandika moja kwa moja picha na video katika nafasi ya pikseli asilia, huku uelewaji na uzalishaji ukishiriki dekoda na self-attention moja. Picha hugawanywa katika patch za 16×16, na video katika tubelet za fremu 4; msimbo umewekwa wazi.

Maandishi hadi video (T2V): Inaweza kutengeneza video ya hadi 832×464, fremu 96 na 24fps kwa urefu wa sekunde 4, ikiwa na ubora unaolingana na modeli kuu za diffusion ya video.
Maandishi hadi picha (T2I): Hutengeneza picha moja kwa moja ndani ya modeli hiyo hiyo, bila tawi au dekoda maalum ya picha.
Uelewaji wa picha: Hushughulikia kazi 21 za uelewaji wa picha, zikiwemo VQA, OCR, chati na hati, na kufikia wastani wa kiwango cha VLM ya 8B.
Uelewaji wa video: Inaauni vigezo vya maswali na majibu ya video kama MVBench na Video-MME, pamoja na hali za uingizaji za dense na sparse.
Picha hadi video (I2V): Kwa kuingiza picha safi ya fremu ya kwanza kama sharti kwenye mtaalamu wa uelewaji, inaweza kutengeneza video inayofuata bila kusimba fremu yenye sharti kwa VAE.
Uhariri wa video: Hutumia video ya kuingiza kama sharti la kuona na kutekeleza kazi za uhariri kupitia utaratibu wa masharti ya muktadha wa multimodali.

Muundo usio na enkoda: PixelUMM imeondoa kabisa VAE na enkoda ya kuona za modeli za kawaida za umoja. Picha hugawanywa moja kwa moja katika patch za 16×16, video katika tubelet za fremu 4 za pikseli asilia za RGB, na matokeo hurudisha pikseli moja kwa moja kupitia kichwa cha mstari. Mchakato mzima hauna upotevu wa usimbaji na usimbuaji wa nafasi ya latent, hivyo kuwezesha usomaji na uandishi wa pikseli kutoka mwanzo hadi mwisho.
Muundo wa attention ulioshirikiwa wa MoT: Modeli hutumia Qwen3-8B kama msingi kujenga Mixture-of-Transformers. Mtaalamu wa uelewaji na mtaalamu wa uzalishaji kila mmoja ana FFN yake, lakini hushiriki self-attention moja. Hivyo maandishi, pikseli safi na pikseli zenye kelele huingiliana katika nafasi moja ya attention, na uelewaji pamoja na uzalishaji huunganishwa ndani ya modeli moja.
Mafunzo ya diffusion katika nafasi ya pikseli: Kazi za uzalishaji hufunzwa moja kwa moja katika nafasi ya pikseli kwa mtindo wa flow-matching. Majaribio ya ablation yanaonyesha kuwa kanuni za gradient katika nafasi ya pikseli na nafasi ya VAE zinakaribiana, lakini mafunzo katika nafasi ya pikseli ni thabiti zaidi. Majaribio ya kiwango cha mgandamizo pia yanaonyesha kuwa patch za 16×16 na tubelet za fremu 4 ni uwiano bora kati ya ugumu wa kujifunza na ufanisi.
Utaratibu wa kuingiza masharti ya multimodali: Masharti safi kama masharti ya maandishi, picha rejea na video ya kuingiza hupitia mtaalamu wa uelewaji kwa pamoja, huku tokeni zenye kelele zinazozalishwa zikipitia mtaalamu wa uzalishaji. Vitu hivi viwili huunganishwa katika attention iliyoshirikiwa, na kupanua njia ya masharti isiyo na enkoda ya SenseNova-U1 hadi picha-hadi-video na uhariri wa video. Ablation inaonyesha kuwa muundo huu haupunguzi uwezo wa uelewaji, na huongeza alama za vigezo vinne vya video kwa 0.89–3.49.
Ablation ya kichwa cha matokeo cha mstari na cha konvoliusheni: Kwa chaguo-msingi hutumia kichwa chepesi cha matokeo cha mstari, ambacho kinaweza kuleta mabaki ya gridi ya pikseli 16. Ulinganisho na kichwa cha konvoliusheni cha upanuzi wa mtindo wa Wan na kichwa cha PixelShuffle unaonyesha kuwa kichwa cha konvoliusheni kinaweza kuondoa mabaki hayo. PixelShuffle yenye kipaumbele cha muda ndiyo uwiano bora kati ya hasara ya mafunzo na ukandamizaji wa mabaki; kubadilisha kichwa kunahitaji mafunzo upya.

Clone hazina: Tekeleza git clone https://github.com/nv-tlabs/PixelUMM, kisha sanidi mazingira ya CUDA kulingana na ENVIRONMENT.md.
Pakua uzani: Pakua checkpoint chaguo-msingi S8-F22-R05 kutoka Hugging Face nvidia/PixelUMM, na upakue faili za usanidi na tokenizer za Qwen3-8B kulingana na CHECKPOINT.md.
Weka njia: Sanidi vigezo vitatu vya mazingira PIXELUMM_CKPT, PIXELUMM_QWEN_DIR na PIXELUMM_OUTPUT vielekee kwenye njia kamili za ndani.
Thibitisha checkpoint: Kwanza endesha check_checkpoint.py kukagua ukamilifu wa uzani na uoanifu wa tensor.
Omba ruhusa ya ukaguzi wa usalama: Omba ruhusa ya kufikia nvidia/Cosmos-1.0-Guardrail kwenye Hugging Face, kisha uingie.
Endesha inference: Tumia inference.py na ubainishe --task t2i / t2v / image-vlm / video-vlm, pamoja na prompt, azimio, idadi ya fremu na vigezo vingine ili kutengeneza picha, video au kutoa matokeo ya uelewaji.
Uzalishaji wa kundi (si lazima): Tumia inference_batch.py pamoja na faili ya YAML ya prompt kuendesha kazi kwa makundi.
Mafunzo ya majaribio (si lazima): Pakua data ya toy kulingana na TRAIN.md, kisha tumia train_toy.py kuendesha mfano wa mafunzo ya kazi nne juu ya checkpoint ya F22.

Muundo usio na enkoda kabisa: Huondoa VAE na enkoda ya kuona, na kusoma na kuandika moja kwa moja katika nafasi ya pikseli asilia, hivyo kuondoa upotevu wa taarifa na vyanzo vya mabaki vinavyosababishwa na usimbaji na usimbuaji wa nafasi ya latent.
Uelewaji na uzalishaji uliounganishwa: Transformer moja ya decoder-only hutekeleza kwa pamoja maandishi-hadi-picha, maandishi-hadi-video, uelewaji wa picha na uelewaji wa video, huku mtaalamu wa uelewaji na mtaalamu wa uzalishaji wakishiriki self-attention moja.
Muundo rahisi, inference ya moja kwa moja: Matokeo hurudisha pikseli moja kwa moja kupitia kichwa chepesi cha mstari, bila dekoda ya ziada, hivyo njia ya uzalishaji huwa fupi zaidi.
Uingizaji wa masharti unaonyumbulika na wenye ufanisi: Masharti safi kama picha rejea na video ya kuingiza hupitia mtaalamu wa uelewaji, hivyo kuwezesha picha-hadi-video na uhariri wa video; ablation inathibitisha kuwa muundo huu haupunguzi uwezo wa uelewaji.
Misingi ya mafunzo iliyo wazi na inayoweza kupanuka: Modeli ya 8B hufikia hasara sawa kwa takriban theluthi moja ya hatua za mafunzo zinazohitajika na modeli ya 1.7B, ikionyesha faida wazi za kuongeza ukubwa.

Tovuti rasmi ya mradi: https://nv-tlabs.github.io/PixelUMM/
Hazina ya GitHub: https://github.com/nv-tlabs/PixelUMM
Hazina ya modeli ya HuggingFace: https://huggingface.co/nvidia/PixelUMM
Utafiti wa kiufundi wa arXiv: https://arxiv.org/pdf/2609.38597

Uundaji wa maudhui ya video fupi: Ingiza sentensi moja ya maelezo ili kutengeneza video ya sekunde 4 yenye 24fps, inayofaa kwa uundaji wa haraka wa nyenzo za mitandao ya kijamii.
Picha-hadi-video na uhariri wa video: Tumia fremu ya kwanza au video asilia kama sharti la kutengeneza au kurekebisha maudhui, kwa matumizi kama maonyesho ya bidhaa za biashara ya mtandaoni na majaribio ya awali ya filamu.
Uelewaji na maswali na majibu ya video ndefu: Hufanya maelezo, muhtasari na hoja za mfuatano wa muda kwenye video ya kuingiza, na kufaa kwa ukaguzi wa maudhui, utafutaji wa nyenzo na muhtasari wa mikutano.
Uchanganuzi wa hati na chati: Alama za OCRBench 78.0 na DocVQA 90.4 zinaweza kusaidia utambuzi wa risiti, maswali na majibu kuhusu ripoti na matukio mengine ya akili ya hati za biashara.