VDN-MiniMax-H3 Đang hoạt động

VDN-MiniMax-H3 là giải pháp tăng tốc tạo video mã nguồn mở do nhóm OpenVDN phát triển, được cải tiến dựa trên MiniMax-H3. Mô hình sử dụng kiến trúc attention hỗn hợp: Softmax với cửa sổ trượt cục bộ bảo toàn chi tiết tinh tế, attention tuyến tính tầm xa xử lý ngữ cảnh dài, sau đó giảm đáng kể số bước khử nhiễu thông qua chưng cất 8 bước. Trên 8 GPU NVIDIA B200, mô hình chỉ mất 11.23 giây để tạo video 768p dài khoảng 14.4 giây, với chất lượng gần như không suy giảm so với Dense H3 gốc ở 50 bước.

Kiến trúc attention hỗn hợp: Tách attention video thành nhánh Softmax cục bộ và nhánh tuyến tính tầm xa, cân bằng giữa chi tiết tinh tế và ngữ cảnh dài.
Tạo video siêu nhanh với 8 bước: Sử dụng chưng cất DMD2 để giảm số bước khử nhiễu từ 50 xuống 8, rút ngắn đáng kể thời gian tạo.
Chất lượng gần như không suy giảm: Tạo video dài 14.4 giây trong 11.23 giây, đồng thời duy trì chất lượng hình ảnh gần với mô hình Dense H3 gốc ở 50 bước.
Thích ứng qua ba giai đoạn huấn luyện: Áp dụng căn chỉnh từng lớp, thích ứng nhánh đầu-cuối và thích ứng LoRA kết hợp, tránh ảnh hưởng của khởi tạo ngẫu nhiên đến mô hình đã huấn luyện trước.
Song song chuyên biệt cho từng nhánh: Phân bổ nhánh Softmax và tuyến tính trên các GPU khác nhau, giảm thêm 13.3% độ trễ so với phương pháp song song Ulysses tiêu chuẩn.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc attention hỗn hợp: VDN tách attention video thành hai nhánh bổ trợ gồm Softmax cục bộ và tuyến tính tầm xa. Nhánh đầu bảo toàn chi tiết tinh tế, nhánh sau xử lý ngữ cảnh dài với độ phức tạp tuyến tính, qua đó thay thế attention toàn phần có độ phức tạp bậc hai.
Nhánh Softmax cục bộ: Sử dụng cửa sổ trượt hai chiều, cứ 5 khung hình tạo thành một nhóm để tập trung vào các khối lân cận, đồng thời đưa khung đầu và cuối vào làm điểm neo biên. Chỉ cần tăng 3.57% mật độ attention là có thể duy trì tính nhất quán thời gian toàn cục.
Video Delta Attention: Nâng cấp Delta Rule truyền thống từ xử lý từng token lên giải bài toán kết hợp theo từng khung hình. Thông qua phương trình chuẩn, tất cả token không gian cùng quyết định trạng thái mới, tự nhiên không mở rộng và có thể thích ứng với tương quan giữa các token mà không cần co giãn kích thước khung hình cố định.
Tiêm văn bản qua hai nhánh: Văn bản trong nhánh Softmax có thể được nhìn thấy trên toàn cục ở mỗi khung hình; nhánh tuyến tính ghi văn bản một lần vào trạng thái hai chiều khi khởi tạo, tránh tính toán lặp lại.
Cơ chế hợp nhất có cổng: Đầu ra của hai nhánh có quy mô khác nhau. Mỗi nhánh được trang bị cổng Sigmoid phụ thuộc vào nội dung và phép chiếu đầu ra độc lập trước khi hợp nhất. Cổng Softmax được giữ cố định trong hai giai đoạn đầu của quá trình huấn luyện, ngăn bộ tối ưu giảm đầu ra của nhánh gốc để hạ thấp hàm mất mát.
Thích ứng qua ba giai đoạn huấn luyện: Căn chỉnh nhánh tuyến tính theo từng lớp, sau đó tối ưu đầu-cuối kết hợp toàn bộ mô-đun hỗn hợp, cuối cùng tinh chỉnh chung QKVO LoRA và nhánh tuyến tính. Backbone đã huấn luyện trước được đóng băng trong toàn bộ quá trình để đảm bảo chất lượng tạo không suy giảm.

Chuẩn bị môi trường: Sao chép kho GitHub, tạo môi trường Python 3.12, cài đặt PyTorch 2.13.0 cùng các dependency của dự án.
Tải mô hình: Dùng ModelScope để tải trọng số OpenVDN/vdn-minimax-h3 vào thư mục ckpts cục bộ.
Chạy ví dụ chính thức: Thực thi scripts/inference/8nfe_tuned_fp8.sh để tạo video mẫu bằng một GPU.
Suy luận đa GPU: Tùy phần cứng, chọn script 8nfe_tuned_fp8_ulysses_h200.sh hoặc b200.sh để chạy trên 8 GPU.
Tùy chỉnh prompt: Dùng encode_prompt.py gọi Qwen3-VL-32B để mã hóa văn bản thành tệp đặc trưng .pt, sau đó truyền vào infer.py để tạo video.

Tạo video siêu nhanh: Chưng cất 8 bước kết hợp attention hỗn hợp giúp tạo video 768p dài khoảng 14.4 giây chỉ trong 11.23 giây trên 8 GPU B200, nhanh hơn 74.5 lần so với mô hình gốc.
Chất lượng gần như không suy giảm: Chi tiết hình ảnh, tính nhất quán của chủ thể và khả năng tuân thủ chỉ dẫn gần với mô hình Dense H3 ở 50 bước, vượt trội rõ rệt so với FastH3 ở 4 bước.
Kiến trúc attention hỗn hợp: Softmax cục bộ bảo toàn chi tiết thời gian tinh tế, attention tuyến tính tầm xa xử lý ngữ cảnh dài với độ phức tạp tuyến tính, cân bằng chất lượng và hiệu suất.
Giải bài toán kết hợp theo khung hình (VDA): Nâng cấp cập nhật từng token thành tối ưu kết hợp theo từng khung hình, tự nhiên không mở rộng và thích ứng với tương quan giữa các token mà không cần co giãn cố định.
Thích ứng ổn định theo giai đoạn: Thông qua ba giai đoạn huấn luyện gồm căn chỉnh từng lớp, thích ứng nhánh đầu-cuối và tinh chỉnh LoRA kết hợp, tránh ảnh hưởng của khởi tạo ngẫu nhiên đến mô hình đã huấn luyện trước.
Song song chuyên biệt cho từng nhánh: Phân bổ nhánh Softmax và VDA trên các GPU khác nhau, giảm thêm 13.3% độ trễ so với phương pháp song song Ulysses tiêu chuẩn.

Trang web dự án: https://openvdn.github.io/
Kho GitHub: https://github.com/OpenVDN/vdn-minimax-h3
Kho mô hình HuggingFace: https://huggingface.co/OpenVDN/vdn-minimax-h3

Sáng tạo video tương tác theo thời gian thực: Khả năng tạo video nhanh với 8 bước cho phép nhà sáng tạo điều chỉnh prompt theo thời gian thực và xem trước kết quả ngay lập tức, rút ngắn đáng kể chu kỳ lặp ý tưởng.
Sản xuất hàng loạt tài liệu quảng cáo và tiếp thị: Các doanh nghiệp thương mại điện tử và thương hiệu có thể nhanh chóng tạo nhiều phiên bản video giới thiệu sản phẩm, poster động, đáp ứng nhu cầu tài liệu với tần suất cao trong các dịp khuyến mãi và lễ hội.
Tiền kỳ điện ảnh và phân cảnh động: Đạo diễn và đội ngũ sản xuất có thể nhanh chóng tạo hoạt ảnh phân cảnh trước khi quay chính thức để kiểm chứng ngôn ngữ máy quay, bố trí cảnh quay và nhịp kể chuyện.
Tạo nội dung động cho trò chơi: Tạo theo thời gian thực hoạt ảnh NPC, cảnh chuyển tiếp môi trường và các đoạn cốt truyện cá nhân hóa cho người chơi trong game thế giới mở hoặc nền tảng xã hội ảo.
Sản xuất video ngắn cho mạng xã hội theo quy mô công nghiệp: Các công ty MCN và nhà sáng tạo nội dung có thể tạo video ngắn như phim tình huống, Vlog nhân vật ảo với chi phí thấp và khả năng xử lý đồng thời cao.