PixelUMM Đang hoạt động

PixelUMM là mô hình đa phương thức thống nhất không dùng encoder do NVIDIA và Đại học Waterloo hợp tác phát triển. Đột phá cốt lõi là loại bỏ hoàn toàn VAE và visual encoder, sử dụng một Transformer chỉ có Decoder để đọc và ghi hình ảnh, video trực tiếp trong không gian pixel gốc; việc hiểu và tạo nội dung dùng chung một decoder và cơ chế tự chú ý. Hình ảnh được chia thành patch 16×16, video được chia thành tubelet 4 khung hình; mã nguồn đã được công khai.

Văn bản thành video (T2V): Hỗ trợ tạo video tối đa 832×464, 96 khung hình, 24fps và dài 4 giây, với chất lượng tương đương các mô hình khuếch tán video phổ biến.
Văn bản thành hình ảnh (T2I): Tạo hình ảnh trực tiếp trong cùng một mô hình mà không cần nhánh hình ảnh hoặc decoder riêng.
Hiểu hình ảnh: Có thể thực hiện 21 nhiệm vụ hiểu hình ảnh như VQA, OCR, biểu đồ và tài liệu, đạt mức trung bình của VLM 8B.
Hiểu video: Hỗ trợ các bộ chuẩn hỏi đáp video như MVBench và Video-MME, cung cấp hai chế độ đầu vào dense và sparse.
Hình ảnh thành video (I2V): Đưa hình ảnh khung hình đầu sạch làm điều kiện vào chuyên gia hiểu để tạo các khung hình video tiếp theo mà không cần mã hóa khung điều kiện bằng VAE.
Chỉnh sửa video: Sử dụng video đầu vào làm điều kiện hình ảnh và thực hiện các nhiệm vụ chỉnh sửa thông qua cơ chế điều kiện ngữ cảnh đa phương thức.

Kiến trúc không encoder: PixelUMM loại bỏ hoàn toàn VAE và visual encoder trong các mô hình thống nhất truyền thống. Hình ảnh được chia trực tiếp thành patch 16×16, video thành tubelet 4 khung hình ở dạng pixel RGB gốc để đưa vào mô hình; đầu ra cũng được hồi quy trực tiếp thành pixel bằng một đầu ra tuyến tính. Toàn bộ quy trình không chịu tổn hao mã hóa và giải mã trong không gian latent, thực hiện việc đọc ghi pixel đầu cuối thực sự.
Cấu trúc attention dùng chung MoT: Mô hình sử dụng Qwen3-8B làm backbone để xây dựng Mixture-of-Transformers. Chuyên gia hiểu và chuyên gia tạo nội dung có FFN riêng nhưng dùng chung một self-attention, cho phép văn bản, pixel sạch và pixel nhiễu tương tác trong cùng không gian attention, thống nhất việc hiểu và tạo nội dung trong một mô hình.
Huấn luyện khuếch tán trong không gian pixel: Các nhiệm vụ tạo nội dung được huấn luyện trực tiếp trong không gian pixel theo phương thức flow matching. Thí nghiệm loại bỏ thành phần cho thấy chuẩn gradient trong không gian pixel và không gian VAE gần như giống nhau, nhưng huấn luyện trong không gian pixel ổn định hơn. Thí nghiệm về tỷ lệ nén cũng xác nhận patch 16×16 và tubelet 4 khung hình là điểm cân bằng tối ưu giữa độ khó học và hiệu quả.
Cơ chế đưa điều kiện đa phương thức: Các “điều kiện sạch” như điều kiện văn bản, hình ảnh tham chiếu và video đầu vào đều đi qua chuyên gia hiểu; token nhiễu cần tạo đi qua chuyên gia tạo. Hai bên được hợp nhất trong attention dùng chung, mở rộng phương thức điều kiện không encoder của SenseNova-U1 sang hình ảnh thành video và chỉnh sửa video. Thí nghiệm loại bỏ thành phần cho thấy thiết kế này không làm giảm năng lực hiểu, đồng thời cải thiện 0.89–3.49 điểm trên bốn bộ chuẩn video.
So sánh đầu ra tuyến tính và đầu ra tích chập: Đầu ra tuyến tính nhẹ mặc định tạo ra hiện tượng giả dạng lưới 16 pixel. Các thí nghiệm so sánh đầu ra tích chập upsampling kiểu Wan và đầu ra PixelShuffle chứng minh đầu ra tích chập có thể loại bỏ hiện tượng này. PixelShuffle ưu tiên thời gian là phương án cân bằng tốt nhất giữa tổn thất huấn luyện và khả năng giảm hiện tượng giả; việc chuyển đổi đầu ra yêu cầu huấn luyện lại.

Sao chép kho lưu trữ: git clone https://github.com/nv-tlabs/PixelUMM, sau đó cấu hình môi trường CUDA theo ENVIRONMENT.md.
Tải trọng số: Tải checkpoint mặc định S8-F22-R05 từ nvidia/PixelUMM trên Hugging Face, đồng thời tải cấu hình và các tệp tokenizer của Qwen3-8B theo CHECKPOINT.md.
Thiết lập đường dẫn: Cấu hình ba biến môi trường PIXELUMM_CKPT, PIXELUMM_QWEN_DIR và PIXELUMM_OUTPUT trỏ đến các đường dẫn tuyệt đối cục bộ.
Kiểm tra checkpoint: Chạy check_checkpoint.py trước để kiểm tra tính toàn vẹn của trọng số và khả năng tương thích của tensor.
Đăng ký quyền đánh giá an toàn: Truy cập Hugging Face để xin quyền truy cập nvidia/Cosmos-1.0-Guardrail và đăng nhập.
Chạy suy luận: Dùng inference.py, lần lượt chỉ định --task t2i / t2v / image-vlm / video-vlm, kết hợp các tham số như prompt, độ phân giải và số khung hình để tạo hình ảnh, video hoặc xuất kết quả hiểu nội dung.
Tạo hàng loạt (tùy chọn): Sử dụng inference_batch.py cùng tệp prompt YAML để chạy hàng loạt tác vụ.
Huấn luyện thử nghiệm (tùy chọn): Tải bộ dữ liệu toy theo TRAIN.md, sau đó dùng train_toy.py để chạy ví dụ huấn luyện bốn tác vụ trên checkpoint F22.

Kiến trúc hoàn toàn không encoder: Loại bỏ VAE và visual encoder, đọc ghi trực tiếp trong không gian pixel gốc, loại bỏ tổn hao thông tin do mã hóa và giải mã trong không gian latent cũng như nguồn gây hiện tượng giả.
Thống nhất việc hiểu và tạo nội dung: Một Transformer chỉ có decoder đồng thời thực hiện bốn nhiệm vụ lớn gồm văn bản thành hình ảnh, văn bản thành video, hiểu hình ảnh và hiểu video; chuyên gia hiểu và chuyên gia tạo dùng chung một self-attention.
Kiến trúc đơn giản, suy luận trực tiếp: Đầu ra được hồi quy trực tiếp thành pixel bằng đầu ra tuyến tính nhẹ, không cần decoder bổ sung, giúp rút ngắn chuỗi tạo nội dung.
Đưa điều kiện linh hoạt và hiệu quả: Hình ảnh tham chiếu, video đầu vào và các điều kiện sạch khác chỉ cần đi qua chuyên gia hiểu là có thể thực hiện hình ảnh thành video và chỉnh sửa video; thí nghiệm loại bỏ thành phần chứng minh thiết kế này không làm giảm năng lực hiểu.
Quy luật huấn luyện rõ ràng, dễ mở rộng: Để đạt cùng mức tổn thất, mô hình 8B chỉ cần khoảng một phần ba số bước huấn luyện của mô hình 1.7B, cho thấy lợi ích mở rộng quy mô rõ ràng.

Trang web dự án: https://nv-tlabs.github.io/PixelUMM/
Kho GitHub: https://github.com/nv-tlabs/PixelUMM
Kho mô hình Hugging Face: https://huggingface.co/nvidia/PixelUMM
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2609.38597

Sáng tạo nội dung video ngắn: Nhập một câu mô tả để tạo trực tiếp video dài 4 giây ở 24fps, phù hợp để nhanh chóng tạo nội dung cho mạng xã hội.
Hình ảnh thành video và chỉnh sửa video: Sử dụng khung hình đầu hoặc video gốc làm điều kiện để tạo và chỉnh sửa nội dung, phù hợp cho trình diễn sản phẩm thương mại điện tử và tiền kỳ phim ảnh.
Hiểu và hỏi đáp video dài: Mô tả, tóm tắt và suy luận theo thời gian trên video đầu vào, phù hợp cho kiểm duyệt nội dung, tìm kiếm tư liệu và lập biên bản cuộc họp.
Phân tích tài liệu và biểu đồ: Kết quả OCRBench 78.0 và DocVQA 90.4 có thể hỗ trợ các tình huống thông minh hóa tài liệu doanh nghiệp như nhận dạng chứng từ và hỏi đáp báo cáo.