Hướng dẫn Kandinsky 6.0: Tạo video và âm thanh đồng bộ bằng AI

Kandinsky 6.0 là một họ mô hình khuếch tán用于 tạo văn bản-thành-âm thanh-video đồng bộ. Kandinsky 6.0 Video Lite có 3 tỷ tham số, trong khi Kandinsky 6.0 Video Pro có 29 tỷ tham số. Cả hai mô hình đều có thể tạo các đoạn clip dài năm giây với âm thanh 44 kHz đồng bộ, bao gồm đồng bộ chuyển động môi, ở chế độ văn bản-thành-âm thanh-video và hình ảnh-thành-âm thanh-video.

Một mô hình siêu phân giải bổ trợ có thể tăng độ phân giải đầu ra lên Full HD, tức 1920×1080. Trong hướng dẫn này, bạn sẽ cài đặt dự án, tải checkpoint, tạo đoạn clip đầu tiên, chọn preset thiết bị và tìm hiểu thêm các cách chạy Kandinsky 6.0.

Kandinsky 6.0 cung cấp những gì

Kandinsky 6.0 được thiết kế cho việc tạo nội dung đa phương thức đồng bộ, thay vì chỉ tổng hợp video không có âm thanh. Các mô hình tạo video và âm thanh cùng lúc, hỗ trợ cả quy trình dựa trên văn bản lẫn hình ảnh.

• Tạo video và âm thanh: Tạo các đoạn clip dài năm giây với âm thanh 44 kHz đồng bộ.
• Đồng bộ môi: Nội dung được tạo có thể bao gồm chuyển động môi đồng bộ.
• Hai kích thước mô hình: Chọn giữa họ Video Lite 3B tham số và họ Video Pro 29B tham số.
• Hai chế độ đầu vào: Sử dụng chế độ tạo văn bản-thành-âm thanh-video hoặc hình ảnh-thành-âm thanh-video.
• Siêu phân giải: Sử dụng mô hình siêu phân giải bổ trợ để nâng độ phân giải đầu ra lên Full HD.

Yêu cầu

Quy trình bắt đầu nhanh cục bộ yêu cầu GPU NVIDIA và Python 3.13 hoặc 3.14. Bạn cũng cần uv và just.

Lệnh thiết lập sẽ phát hiện GPU và cài đặt bản PyTorch phù hợp. GPU Hopper, bao gồm thiết bị H100 và H200, sử dụng PyTorch cho CUDA 13.0 cùng FlashAttention 3. GPU Ampere, Ada và Blackwell dành cho người dùng phổ thông sử dụng PyTorch cho CUDA 13.0 cùng SageAttention 2.2.0.

Nếu bạn sử dụng GPU Ampere, Ada hoặc Blackwell dành cho người dùng phổ thông, nvcc phải khả dụng trong PATH. Quy trình thiết lập yêu cầu CUDA_HOME mặc định là /usr/local/cuda.

Cài đặt Kandinsky 6.0

1. Sao chép kho lưu trữ

Sao chép kho lưu trữ và chuyển vào thư mục dự án:

git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup

Lệnh just setup đọc thông tin GPU của bạn và cài đặt một trong các cấu hình PyTorch và attention được hỗ trợ.

2. Tải mô hình

Tải checkpoint Pro đã chưng cất bằng lệnh:

just download pro-distill

Ở lần chạy đầu tiên, dự án tải Kandinsky-6.0-Pro-distill-5s từ Hugging Face. Theo mặc định, trọng số mô hình được lưu tại ~/.cache/kandinsky/weights.

Bạn có thể thay đổi vị trí cơ sở này bằng biến môi trường KANDINSKY_HOME. Khi được thiết lập, trọng số sẽ được lưu tại $KANDINSKY_HOME/weights.

Tạo video đầu tiên

Sau khi thiết lập và tải mô hình, hãy tạo một đoạn clip từ prompt văn bản:

just generate "a cat on a mat"

Tệp MP4 kết quả được ghi vào một thư mục đầu ra có dấu thời gian:

$KANDINSKY_HOME/outputs/generate_<YYYY-MM-DDTHH-MM-SS>/generations/output.mp4

Nếu chưa thiết lập KANDINSKY_HOME, dự án sử dụng ~/.cache/kandinsky làm thư mục home mặc định. Thư mục tạo tương tự cũng chứa prompt đã mở rộng trong expanded_prompt.txt, cấu hình lần chạy trong launch.json, cùng các thư mục logs/ và profiles/.

Lệnh generate sẽ tải checkpoint được chỉ định trong cấu hình nếu checkpoint đó chưa có sẵn trên máy.

Chọn preset GPU

Nếu GPU của bạn cần cấu hình khác, hãy truyền preset thiết bị bằng --config. Ví dụ:

just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4

Các preset thiết bị được lưu trong kandinsky/configs/devices/. Hãy chọn preset phù hợp với phần cứng và khối lượng công việc của bạn.

Tên model catalog khả dụng

Tài liệu bắt đầu nhanh liệt kê các tên model catalog sau:

• pro
• pro-pretrain
• lite
• lite-distill
• lite-pretrain

Ví dụ mặc định ở lần chạy đầu tiên sử dụng pro-distill, tùy chọn này tải checkpoint Pro năm giây đã chưng cất.

Sử dụng Kandinsky 6.0 với ComfyUI

Kandinsky 6.0 cũng hỗ trợ ComfyUI. Cài đặt kandinsky6 và kandinsky6-sr thông qua ComfyUI Manager, sau đó khởi động lại ComfyUI.

Thư mục comfyui/ của kho lưu trữ chứa mã nguồn tiện ích mở rộng. Không cần sao chép thủ công. Để biết chi tiết cài đặt dành riêng cho dự án, hãy tham khảo hướng dẫn thiết lập ComfyUI.

Mẹo về hiệu năng và tối ưu hóa

Thời gian tạo phụ thuộc nhiều vào họ mô hình, độ phân giải, GPU và chiến lược offload. Các benchmark của dự án đo thời gian xử lý cho một đoạn clip dài năm giây sau khi khởi động ổn định; thời gian tải trọng số và mã hóa MP4 không được tính.

Các cấu hình phần cứng được ghi nhận sử dụng module offload trên hệ thống RTX PRO 6000, A100 80 GB và H100 80 GB. Card đồ họa dành cho người dùng phổ thông sử dụng block offload.

Cơ chế attention cũng thay đổi tùy theo GPU. Các hệ thống RTX 4090, RTX 5060 Ti, RTX 5080, RTX 5090, RTX PRO 6000 và A100 80 GB sử dụng SageAttention2++ cho self-attention hình ảnh. Các hệ thống H100 sử dụng FlashAttention 3.

Diễn giải kết quả benchmark

Thời gian được báo cáo tính bằng giây cho một đoạn video dài năm giây, sử dụng mô hình không chưng cất. Các cấu hình được liệt kê gồm Lite SD, Lite HD, Lite Full HD, Pro SD, Pro HD và Pro Full HD. Nhìn chung, các cấu hình Lite cần ít thời gian hơn cấu hình Pro, trong khi việc tạo video Full HD cần nhiều thời gian hơn SD hoặc HD trên cùng phần cứng.

Để thử nghiệm cục bộ nhanh nhất, hãy bắt đầu với checkpoint Lite hoặc đã chưng cất cùng preset thiết bị phù hợp. Sử dụng cấu hình Pro hoặc Full HD khi dung lượng mô hình hoặc độ phân giải bổ sung quan trọng đối với kết quả của bạn.

Quy trình thực tế

1. Đảm bảo hệ thống của bạn có GPU NVIDIA và Python 3.13 hoặc 3.14.
2. Cài đặt uv và just.
3. Sao chép repository và chạy just setup.
4. Tải checkpoint bằng just download pro-distill hoặc tên catalog được hỗ trợ khác.
5. Chạy just generate với một prompt mô tả rõ ràng.
6. Tìm tệp MP4 đã tạo trong thư mục đầu ra có dấu thời gian.
7. Xem lại expanded_prompt.txt, launch.json, nhật ký và profile khi cần kiểm tra một lần chạy.
8. Chuyển sang preset thiết bị hoặc ComfyUI khi quy trình của bạn yêu cầu cài đặt phần cứng khác hoặc khả năng điều khiển dựa trên node.

Kết luận

Kandinsky 6.0 hỗ trợ tạo nội dung cục bộ từ văn bản thành âm thanh-video và từ hình ảnh thành âm thanh-video, với âm thanh đồng bộ, hỗ trợ đồng bộ khẩu hình và tùy chọn siêu phân giải. Cách đơn giản nhất là cài đặt các phần phụ thuộc bằng just setup, tải checkpoint và chạy prompt bằng just generate. Để kiểm soát nhiều hơn, hãy sử dụng preset thiết bị, kiểm tra các tệp của lần chạy đã tạo hoặc cài đặt các extension Kandinsky 6.0 thông qua ComfyUI Manager.

Để biết thêm thông tin, hãy truy cập trang web KandinskyLab, tài liệu Diffusers hoặc bản demo Hugging Face.