PixelUMM Faoliyat yuritmoqda

PixelUMM — NVIDIA va Vaterloo universiteti tomonidan birgalikda ishlab chiqilgan, kodlovchisiz yagona multimodal model. Uning asosiy yangiligi VAE va vizual kodlovchini butunlay olib tashlab, yagona Decoder-only Transformer orqali tasvir va videolarni bevosita xom piksel makonida o‘qish va yozishdir; tushunish va generatsiya bir xil dekoder hamda self-attention mexanizmidan foydalanadi. Tasvirlar 16×16 patchlarga, videolar esa 4 kadrli tubeletlarga bo‘linadi, kod esa ochiq manbaga chiqarilgan.

Matndan video yaratish (T2V): 832×464 gacha bo‘lgan o‘lchamda, 96 kadr va 24fps tezlikda 4 soniyalik videolar yaratishni qo‘llab-quvvatlaydi; tasvir sifati yetakchi video diffuziya modellariga teng.
Matndan tasvir yaratish (T2I): alohida tasvir tarmog‘i yoki dekoderisiz, xuddi shu model ichida tasvirlarni bevosita yaratadi.
Tasvirni tushunish: VQA, OCR, diagramma, hujjat va boshqa jami 21 ta tasvirni tushunish vazifasini bajara oladi; o‘rtacha natijasi 8B darajasidagi VLM bilan teng.
Videoni tushunish: MVBench, Video-MME kabi video savol-javob benchmarklarini qo‘llab-quvvatlaydi hamda dense va sparse kirish rejimlarini taqdim etadi.
Tasvirdan video yaratish (I2V): toza boshlang‘ich tasvirni tushunish ekspertiga shart sifatida uzatib, VAE orqali shart kadrini kodlamasdan keyingi videoni yaratadi.
Videoni tahrirlash: kiruvchi videoni vizual shart sifatida ishlatib, multimodal kontekst shartlash mexanizmi orqali tahrirlash vazifalarini bajaradi.

Kodlovchisiz arxitektura: PixelUMM an’anaviy yagona modellardagi VAE va vizual kodlovchini butunlay olib tashlaydi. Tasvirlar bevosita 16×16 patchlarga, videolar esa 4 kadrli tubeletlarga bo‘linib, xom RGB piksellar ko‘rinishida kiritiladi; chiqish ham chiziqli bosh orqali piksellarga bevosita regressiya qilinadi. Jarayonda latent makonidagi kodlash va dekodlash yo‘q, shu sababli haqiqiy end-to-end piksel o‘qish va yozish amalga oshadi.
MoT umumiy attention tuzilmasi: model Qwen3-8B asosida Mixture-of-Transformers arxitekturasini quradi. Tushunish va generatsiya ekspertlari alohida FFN’lariga ega, biroq bir xil self-attention qatlamini bo‘lishadi. Shu orqali matn, toza piksellar va shovqinli piksellar bir xil attention makonida o‘zaro ta’sirlashadi hamda bitta model ichida tushunish va generatsiya birlashtiriladi.
Piksel makonida diffuziya orqali o‘qitish: generatsiya vazifalari piksel makonida flow-matching uslubida bevosita o‘qitiladi. Ablatsiya tajribalari piksel makoni va VAE makonidagi gradient normasi deyarli bir xil ekanini, ammo piksel makonida o‘qitish barqarorroq ekanini ko‘rsatdi. Siqilish koeffitsiyenti tajribalari esa 16×16 patch va 4 kadrli tubelet o‘rganish murakkabligi hamda samaradorligi o‘rtasidagi eng yaxshi muvozanat ekanini tasdiqladi.
Multimodal shartlarni uzatish mexanizmi: matn sharti, referens tasvir va kiruvchi video kabi “toza shartlar” tushunish ekspertiga, generatsiya qilinadigan shovqin tokenlari esa generatsiya ekspertiga uzatiladi. Ular umumiy attention orqali birlashadi. Bu SenseNova-U1’ning encoder-free shartlash usulini tasvirdan video yaratish va videoni tahrirlashga kengaytiradi. Ablatsiya natijalari ushbu dizayn tushunish qobiliyatiga zarar yetkazmasligini, to‘rtta video benchmarkida esa 0.89–3.49 ball o‘sish kuzatilganini ko‘rsatdi.
Chiziqli chiqish boshi va konvolyutsion bosh ablatsiyasi: standart yengil chiziqli chiqish boshi 16 piksel katakli artefaktlarni keltirib chiqaradi. Tajribalar Wan uslubidagi yuqoriga namunalash konvolyutsion boshi va PixelShuffle boshini taqqoslab, konvolyutsion bosh artefaktlarni yo‘q qila olishini ko‘rsatdi. Vaqt yo‘nalishiga ustuvorlik beruvchi PixelShuffle o‘qitish yo‘qotishi va artefaktlarni bostirish o‘rtasidagi eng yaxshi muvozanatdir; boshni almashtirish qayta o‘qitishni talab qiladi.

Repozitoriyni klonlash: git clone https://github.com/nv-tlabs/PixelUMM buyrug‘ini bajaring va ENVIRONMENT.md asosida CUDA muhitini sozlang.
Og‘irliklarni yuklab olish: Hugging Face’dagi nvidia/PixelUMM manbasidan standart S8-F22-R05 checkpoint’ini yuklab oling va CHECKPOINT.md asosida Qwen3-8B konfiguratsiyasi hamda tokenizer fayllarini yuklab oling.
Yo‘llarni sozlash: PIXELUMM_CKPT, PIXELUMM_QWEN_DIR va PIXELUMM_OUTPUT uchta muhit o‘zgaruvchisini mahalliy mutlaq yo‘llarga ko‘rsating.
Checkpoint’ni tekshirish: avval check_checkpoint.py skriptini ishga tushirib, og‘irliklarning to‘liqligi va tensorlar mosligini tekshiring.
Xavfsizlik tekshiruvi uchun ruxsat olish: Hugging Face’da nvidia/Cosmos-1.0-Guardrail manbasiga kirish huquqini so‘rang va tizimga kiring.
Inferensni ishga tushirish: inference.py orqali --task t2i / t2v / image-vlm / video-vlm parametrlaridan birini ko‘rsating; prompt, aniqlik, kadrlar soni va boshqa parametrlar yordamida tasvir, video yarating yoki tushunish natijasini oling.
Ommaviy generatsiya (ixtiyoriy): YAML prompt fayli bilan inference_batch.py yordamida vazifalarni ommaviy bajaring.
Sinov o‘qitishi (ixtiyoriy): TRAIN.md asosida toy ma’lumotlar to‘plamini yuklab oling va train_toy.py orqali F22 checkpoint’i asosida to‘rtta vazifali o‘qitish namunasini ishga tushiring.

To‘liq kodlovchisiz arxitektura: VAE va vizual kodlovchi olib tashlanib, ma’lumotlar bevosita xom piksel makonida o‘qiladi va yoziladi. Bu latent makonidagi kodlash-dekodlash natijasidagi axborot yo‘qotilishi va artefaktlar manbasini bartaraf etadi.
Tushunish va generatsiyani birlashtirish: yagona decoder-only Transformer matndan tasvir yaratish, matndan video yaratish, tasvirni tushunish va videoni tushunish kabi to‘rtta asosiy vazifani bir vaqtda bajaradi; tushunish va generatsiya ekspertlari bir xil self-attention mexanizmini bo‘lishadi.
Sodda arxitektura va bevosita inferens: chiqish yengil chiziqli bosh orqali piksellarga bevosita regressiya qilinadi, qo‘shimcha dekoder talab etilmaydi va generatsiya zanjiri qisqaroq bo‘ladi.
Shartlarni moslashuvchan va samarali uzatish: referens tasvir va kiruvchi video kabi toza shartlarni tushunish ekspertiga uzatish orqali tasvirdan video yaratish hamda videoni tahrirlash mumkin; ablatsiya ushbu dizayn tushunish qobiliyatiga zarar yetkazmasligini isbotladi.
O‘qitish qonuniyatlari aniq va kengaytiriladigan: 8B model bir xil yo‘qotish darajasiga 1.7B model talab qiladigan o‘qitish qadamlarining taxminan uchdan birida erishadi, masshtablash samarasi aniq.

Loyiha rasmiy sayti: https://nv-tlabs.github.io/PixelUMM/
GitHub repozitoriysi: https://github.com/nv-tlabs/PixelUMM
Hugging Face model manbasi: https://huggingface.co/nvidia/PixelUMM
arXiv texnik maqolasi: https://arxiv.org/pdf/2609.38597

Qisqa video kontent yaratish: bitta matnli tavsif orqali 4 soniyalik, 24fps tezlikdagi video yaratiladi; ijtimoiy tarmoqlar uchun materiallarni tez tayyorlashga mos.
Tasvirdan video yaratish va videoni tahrirlash: boshlang‘ich kadr yoki original videodan shart sifatida foydalanib, kontent yaratish yoki o‘zgartirish mumkin; elektron tijorat mahsulotlarini dinamik namoyish qilish va kino-loyihalarni oldindan ko‘rishda qo‘llanadi.
Uzun videoni tushunish va savol-javob: kiruvchi videoni tasvirlash, umumlashtirish va vaqt ketma-ketligi bo‘yicha xulosa chiqarish uchun ishlatiladi; kontent moderatsiyasi, materiallarni qidirish va yig‘ilish bayonnomalari uchun mos.
Hujjat va diagrammalarni tahlil qilish: OCRBench 78.0 va DocVQA 90.4 natijalari kvitansiyalarni tanib olish, hisobotlar bo‘yicha savol-javob hamda korporativ hujjatlarni intellektual qayta ishlashni qo‘llab-quvvatlaydi.