DuoMatching Đang hoạt động

DuoMatching là framework chưng cất tạo video với số bước ít do MMLab thuộc CUHK và ByteDance phối hợp phát triển. Trong khi giáo viên video đảm bảo tính nhất quán theo thời gian, DuoMatching đưa vào mô hình hình ảnh đóng băng để giám sát chất lượng và sự phù hợp ngữ nghĩa của từng khung hình. LatentBridge kết nối các không gian latent, còn LVS chọn các khung hình giám sát quan trọng, từ đó cải thiện chi tiết hình ảnh và khả năng tuân thủ prompt. DuoMatching không làm tăng chi phí suy luận; tổng điểm VBench khi tạo video trong 2 bước đạt 83.53.

Cải thiện chất lượng từng khung hình: Khắc phục tình trạng chi tiết như tóc, kết cấu và chất liệu bị mờ hoặc mất đi trong quá trình tạo video với số bước ít.
Tăng cường sự phù hợp ngữ nghĩa: Nâng cao khả năng tuân thủ prompt của mô hình, giảm các lỗi như thiếu vật thể và sai màu sắc.
Duy trì chất lượng theo thời gian: Tối ưu chất lượng từng khung hình đồng thời cơ bản giữ được tính nhất quán giữa các khung hình và khả năng chuyển động của video.
Hỗ trợ tạo video với số bước ít: Có thể dùng cho việc tạo video 2 bước, 4 bước và các cấu hình có độ trễ thấp khác, đáp ứng nhu cầu của ứng dụng thời gian thực hoặc tương tác.
Không làm tăng chi phí suy luận: Giáo viên hình ảnh chỉ tham gia quá trình huấn luyện; mô hình học sinh sau khi triển khai không cần chạy thêm mô hình hình ảnh.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Khớp phân phối kép giữa liên hợp và biên: Ngoài DMD liên hợp truyền thống, DuoMatching bổ sung DMD biên. Giáo viên video chịu trách nhiệm khớp phân phối liên hợp của toàn bộ video, duy trì chất lượng theo thời gian và chuyển động; giáo viên hình ảnh đóng băng chịu trách nhiệm khớp phân phối biên của các khung hình được lấy mẫu, cải thiện chất lượng từng khung hình và sự phù hợp ngữ nghĩa. Hai loại tổn thất cùng huấn luyện mô hình học sinh, với trọng số mặc định của tổn thất biên là 0.4.
LatentBridge kết nối không gian latent video và hình ảnh: Do cấu trúc latent của VAE video và VAE hình ảnh không tương thích, DuoMatching sử dụng LatentBridge có khoảng 1075 vạn tham số để ánh xạ trực tiếp các lát cắt latent video vào không gian latent của giáo viên hình ảnh. Mô-đun được tiền huấn luyện bằng tổn thất tái tạo L1, tránh chi phí bộ nhớ lớn do phải giải mã thành RGB rồi mã hóa lại, giúp giáo viên hình ảnh giám sát hiệu quả mô hình học sinh video.
LVS tối ưu việc lấy mẫu giám sát cấp khung hình: Latent Variation Sampling phân chia các đoạn video dựa trên cường độ thay đổi của những lát cắt latent liền kề, sau đó chọn các khung hình giám sát từ mỗi đoạn. Theo mặc định, mỗi video lấy mẫu 4 lát cắt latent. So với lấy mẫu ngẫu nhiên, phương pháp này giảm khả năng giám sát tập trung vào các cảnh tĩnh, phân bổ ngân sách giám sát cấp khung hình hạn chế cho những nội dung có nhiều biến đổi hơn.

Chuẩn bị môi trường chạy: Chuẩn bị GPU NVIDIA hỗ trợ CUDA và cấu hình môi trường Python 3.10.
Tải xuống và cài đặt dự án: Sao chép kho DuoMatching, cài đặt PyTorch, FlashAttention và các phần phụ thuộc cần thiết của dự án.
Tải xuống tệp mô hình: Nhận các thành phần cơ sở Wan2.1-T2V-1.3B và trọng số chính thức của DuoMatching, sau đó đặt chúng theo thư mục mặc định của kho.
Chuẩn bị prompt: Tạo tệp văn bản UTF-8 và nhập mỗi prompt trên một dòng; cũng có thể sử dụng trực tiếp tệp chính thức prompts/demos.txt.
Khởi chạy quá trình tạo video: Chạy inference.py, chỉ định cấu hình suy luận, trọng số mô hình, tệp prompt và thư mục đầu ra trong lệnh.
Xem kết quả tạo: Lấy video trong thư mục đầu ra. Ví dụ chính thức mặc định tạo 21 khung hình; có thể thiết lập số khung hình đầu ra và seed ngẫu nhiên.

Cải thiện rõ rệt chất lượng từng khung hình: Thông qua giám sát độc lập cấp khung hình, khắc phục tình trạng mất các chi tiết như tóc, kết cấu và chất liệu trong quá trình tạo với số bước ít.
Tuân thủ prompt chính xác hơn: Nhờ prior ngữ nghĩa của mô hình hình ảnh, giảm các lỗi như thiếu vật thể, sai màu sắc và lệch bố cục.
Không làm tăng chi phí suy luận: Giáo viên hình ảnh chỉ tham gia huấn luyện; mô hình học sinh sau khi triển khai không cần thêm bước suy luận hoặc tính toán bổ sung.
Cân bằng chất lượng hình ảnh và khả năng chuyển động: Cải thiện chất lượng thị giác và sự phù hợp ngữ nghĩa, đồng thời cơ bản duy trì tính nhất quán theo thời gian và khả năng chuyển động của video.
Tiếp tục tận dụng tiến bộ của mô hình hình ảnh: Thay thế bằng giáo viên hình ảnh mạnh hơn có thể tiếp tục nâng cao mô hình học sinh; thông thường cần huấn luyện lại LatentBridge tương ứng.

Trang web dự án: https://johnzhan2023.github.io/DuoMatching/
Kho GitHub: https://github.com/JohnZhan2023/DuoMatching
Kho mô hình HuggingFace: https://huggingface.co/JohnZhan/DuoMatching
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2610.03543

Tương tác thời gian thực và tạo video livestream: Tận dụng đặc tính ít bước và độ trễ thấp để nhanh chóng tạo video chuyển động, biểu cảm cho người kỹ thuật số, streamer ảo và livestream tương tác.
Sản xuất nội dung quảng cáo và thương mại điện tử: Nâng cao độ chính xác khi tạo chất liệu, màu sắc và vật thể được chỉ định, giảm tình trạng hình ảnh quảng cáo không phù hợp với prompt sáng tạo.
Tiền kỳ phim ngắn và hoạt hình: Nhanh chóng tạo storyboard và bản mẫu động, giúp nhà sáng tạo kiểm chứng với chi phí thấp chuyển động nhân vật, thiết kế góc máy và hiệu ứng hình ảnh.
Tạo nội dung game và thế giới ảo: Cung cấp nguyên mẫu video nhanh cho cảnh chuyển tiếp, chuyển động nhân vật và bối cảnh ảo trong game, cải thiện hiệu quả tạo nội dung tương tác.
Dịch vụ tạo video đồng thời cao: Cải thiện chất lượng mô hình ít bước mà không làm tăng chi phí suy luận bổ sung, phù hợp với các nền tảng cần cân bằng tốc độ tạo, chi phí dịch vụ và chất lượng đầu ra.