DMAD Đang hoạt động

DMAD（Distribution Matching as Adversarial Distillation）là framework chưng cất ít bước do ByteDance và Đại học Texas A&M cùng mã nguồn mở, dùng để tăng tốc quá trình sinh của mô hình khuếch tán. DMAD huấn luyện bộ phân biệt nhị phân trực tiếp học sự khác biệt giữa phân phối mục tiêu và phân phối của mô hình học sinh, loại bỏ mô hình khuếch tán phụ trợ, chưng cất mô hình giáo viên 50 bước thành mô hình học sinh 4 bước. Hiện hỗ trợ ImageNet, SDXL, Wan2.1 và MiniMax-H3-33B; với 8GB VRAM có thể tạo video có âm thanh dài khoảng 5 giây ở độ phân giải 1344×768.

Sinh ảnh ít bước: chưng cất mô hình EDM của ImageNet-64 xuống 1 bước lấy mẫu, FID thấp tới 1.04; SDXL chỉ cần 4 bước để sinh ảnh từ văn bản.
Sinh video từ văn bản ít bước: chưng cất Wan2.1-T2V-14B thành mô hình học sinh 4 bước, đạt VBench 85.15.
Sinh âm thanh và video kết hợp: chưng cất mô hình giáo viên MiniMax-H3-33B 50 bước thành 4 bước, xuất video 1344×768 cùng âm thanh stereo nguyên bản 32kHz.
Hỗ trợ phần cứng phổ thông: cung cấp workflow ComfyUI với 8GB VRAM và suy luận dòng lệnh cho VRAM thấp; GPU 8GB có thể tạo video có âm thanh khoảng 5 giây, GPU 12GB khoảng 15 giây.
Mã nguồn mở toàn bộ quá trình huấn luyện và suy luận: phát hành phương pháp chưng cất, mã huấn luyện, script suy luận và trọng số LoRA cho nhiều mô hình, hỗ trợ cả dòng lệnh và ComfyUI.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Ghép phân phối qua chưng cất đối kháng: DMAD huấn luyện bộ phân biệt nhị phân để phân biệt mẫu mục tiêu và mẫu học sinh. Logit của bộ phân biệt tối ưu bằng logarit của tỷ số mật độ xác suất giữa hai phân phối; lấy gradient theo đầu vào sẽ thu được chênh lệch score, trực tiếp đưa ra hướng hiệu chỉnh cho học sinh và loại bỏ mô hình khớp score khuếch tán phụ trợ.
Backbone dùng chung, bộ phân biệt hai đầu: bộ phân biệt sử dụng một backbone đặc trưng dùng chung và hai đầu phân biệt. Đầu giáo viên phân biệt mẫu giáo viên với mẫu học sinh, đầu dữ liệu thực phân biệt mẫu dữ liệu thực với mẫu học sinh; cả hai đều được huấn luyện bằng entropy chéo nhị phân. Mô hình học sinh được cập nhật bằng hàm mất mát tuyến tính có trọng số của hai logit; khi cập nhật, tham số bộ phân biệt được đóng băng nhưng gradient vẫn được truyền ngược.
Gán trọng số động theo khoảng nhiễu: sự khác biệt giữa phân phối mẫu giáo viên và dữ liệu thực thay đổi theo mức nhiễu. DMAD sử dụng chênh lệch logit trung bình của đầu dữ liệu thực trên hai loại mẫu làm tín hiệu thực nghiệm, dùng trung bình trượt hàm mũ với hệ số suy giảm 0.99 để theo dõi từng khoảng nhiễu. Các khoảng có chênh lệch nhỏ nhận trọng số giáo viên cao hơn; sau khi chuẩn hóa, chúng được đưa vào hàm mất mát của học sinh.
Tăng tốc huấn luyện bằng mẫu giáo viên ngoại tuyến: giáo viên chỉ cung cấp các mẫu được sinh trước và lưu trong bộ nhớ đệm, không cần gọi giáo viên trực tuyến trong quá trình huấn luyện. Với 4 GPU H200 và cấu hình LoRA rank-128 cho MiniMax-H3, thời gian cho mỗi lần cập nhật học sinh cùng lần cập nhật bộ phân biệt liên quan giảm từ 818.1 giây xuống 233.3 giây, đạt mức tăng tốc huấn luyện khoảng 3.51 lần.

Clone repository: git clone https://github.com/Yzmblog/DMAD.git rồi vào thư mục dự án.
Tạo môi trường: dùng conda tạo môi trường Python 3.12 và kích hoạt môi trường.
Cài đặt dependencies: cài PyTorch 2.11.0 (cu126), torchvision và torchaudio theo phiên bản cố định chính thức, sau đó chạy pip install -r requirements.txt và pip install -U modelscope-hub.
Chuẩn bị phần cứng: đảm bảo có GPU NVIDIA hỗ trợ CUDA, đồng thời dành khoảng 64GB RAM hệ thống và 170GB dung lượng đĩa.
Tải mô hình cơ sở: dùng modelscope download MiniMax/MiniMax-H3 để tải mô hình cơ sở MiniMax-H3.
Tải trọng số chưng cất: tải LoRA 4 bước của DMAD từ ModelScope.
Suy luận dòng lệnh: chạy inference.py, chỉ định đường dẫn mô hình, LoRA, tệp prompt, --steps 4, --height 768 --width 1344; chọn --low-vram 8 hoặc --low-vram 12 tùy dung lượng VRAM.
Xem kết quả: thư mục đầu ra chứa 0000.mp4, tệp txt chứa prompt và settings.json; sau khi chạy thành công, có thể thay bằng tệp prompt của riêng bạn.

Tăng tốc suy luận đáng kể: chưng cất mô hình giáo viên 50 bước thành mô hình học sinh 4 bước, giảm hơn 92% số lần lặp khử nhiễu mà vẫn duy trì chất lượng sinh gần với giáo viên.
Hiệu quả huấn luyện cao hơn: bộ phân biệt trực tiếp học sự khác biệt giữa các phân phối, loại bỏ mô hình khuếch tán phụ trợ; trên 4 GPU H200, tốc độ cập nhật huấn luyện tăng khoảng 3.51 lần.
Chất lượng sinh dẫn đầu: sinh một bước trên ImageNet-64 đạt FID 1.04, tốt hơn các phương pháp như DMD2 và SiDA; trong đánh giá của con người, tỷ lệ ưa thích tổng thể so với DMD2 đạt 79.1%, còn so với rCM đạt 84.6%.
Phủ rộng toàn bộ kịch bản đa phương thức: cùng một framework hỗ trợ thống nhất sinh ảnh, sinh video từ văn bản và sinh âm thanh-video kết hợp.

Trang web dự án: https://yzmblog.github.io/projects/DMAD/
Repository GitHub: https://github.com/Yzmblog/DMAD
Model Hub HuggingFace: https://huggingface.co/ZhengmingYu/DMAD
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2610.02188

Sáng tạo nội dung video ngắn: tạo video dài 5–15 giây kèm âm thanh nguyên bản chỉ với 4 bước; nhà sáng tạo có thể nhanh chóng sản xuất nội dung mạng xã hội trên GPU phổ thông 8GB, giảm đáng kể chi phí sản xuất.
Sinh tài liệu quảng cáo và marketing: thương hiệu có thể dựa trên prompt để tạo hàng loạt video giới thiệu sản phẩm và video theo bối cảnh, kết hợp đầu ra âm thanh chất lượng cao nhằm rút ngắn chu kỳ từ ý tưởng đến thành phẩm.
Tiền kỳ điện ảnh và thiết kế ý tưởng (Previs): đạo diễn và đội ngũ mỹ thuật dùng chưng cất ít bước để nhanh chóng tạo bản tiền kỳ cảnh quay, tham chiếu không khí và bản phác thảo storyboard, đẩy nhanh quá trình lặp ý tưởng giai đoạn đầu.
Sản xuất tài sản game và hoạt hình: tạo hoạt ảnh nhân vật, hình ý tưởng bối cảnh và tài sản nền động, hỗ trợ studio game độc lập và đội ngũ hoạt hình nhỏ giảm chi phí sản xuất tài sản.