跳到主要内容
AI教程

Kandinsky 6.0 教程：使用 AI 生成同步视频和音频

了解如何安装 Kandinsky 6.0、下载模型检查点、根据文本提示生成同步视频和 44 kHz 音频、选择 GPU 预设、使用 ComfyUI，并利用项目的性能选项优化工作流程。

AI我搜编辑部阅读约 8 分钟
Kandinsky 6.0 教程：使用 AI 生成同步视频和音频

Kandinsky 6.0 是一系列用于同步文本到音频视频生成的扩散模型。Kandinsky 6.0 Video Lite 拥有 30 亿个参数，而 Kandinsky 6.0 Video Pro 拥有 290 亿个参数。两种模型都可以生成带同步 44 kHz 音频的五秒视频片段，并支持唇形同步，可用于文本到音频视频和图像到音频视频模式。

插件式超分辨率模型可以将输出分辨率提升至全高清（Full HD），即 1920×1080。在本教程中，你将安装项目、下载检查点、生成第一个视频片段、选择设备预设，并了解运行 Kandinsky 6.0 的其他方式。

Kandinsky 6.0 项目预览

Kandinsky 6.0 提供的功能

Kandinsky 6.0 专为同步多模态生成而设计，而不仅仅是生成无声视频。其模型会同时生成视频和音频，并支持文本驱动和图像驱动的工作流程。

  • 视频和音频生成：创建带同步 44 kHz 音频的五秒视频片段。
  • 唇形同步：生成的内容可以包含同步的唇部动作。
  • 两种模型规模：可在 3B 参数的 Video Lite 系列和 29B 参数的 Video Pro 系列之间进行选择。
  • 两种输入模式：使用文本到音频视频或图像到音频视频生成。
  • 超分辨率：使用插件式超分辨率模型，将输出分辨率提升至全高清。

要求

本地快速入门流程需要 NVIDIA GPU 以及 Python 3.13 或 3.14。你还需要 uv 和 just。

安装命令会检测 GPU，并安装适用的 PyTorch 构建版本。包括 H100 和 H200 在内的 Hopper GPU 使用适用于 CUDA 13.0 的 PyTorch 和 FlashAttention 3。Ampere、Ada 以及消费级 Blackwell GPU 使用适用于 CUDA 13.0 的 PyTorch 和 SageAttention 2.2.0。

如果你使用的是 Ampere、Ada 或消费级 Blackwell GPU，nvcc 必须在 PATH 中可用。安装程序要求 CUDA_HOME 默认为 /usr/local/cuda。

安装 Kandinsky 6.0

1. 克隆仓库

克隆仓库并进入项目目录：

git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup

just setup 命令会读取你的 GPU，并安装受支持的 PyTorch 和注意力机制配置之一。

2. 下载模型

使用以下命令下载 Pro 蒸馏检查点：

just download pro-distill

首次运行时，项目会从 Hugging Face 下载 Kandinsky-6.0-Pro-distill-5s。默认情况下，模型权重存储在 ~/.cache/kandinsky/weights 下。

你可以通过 KANDINSKY_HOME 环境变量更改此基础位置。设置该变量后，权重会存储在 $KANDINSKY_HOME/weights 中。

生成第一个视频

完成安装并下载模型后，从文本提示词生成视频片段：

just generate "a cat on a mat"

生成的 MP4 文件会写入带时间戳的输出目录：

$KANDINSKY_HOME/outputs/generate_<YYYY-MM-DDTHH-MM-SS>/generations/output.mp4

如果未设置 KANDINSKY_HOME，项目会使用 ~/.cache/kandinsky 作为默认主目录。同一生成目录还包含展开后的提示词 expanded_prompt.txt、运行配置 launch.json，以及 logs/ 和 profiles/ 目录。

如果配置中指定的检查点尚未在本地可用，generate 命令会下载该检查点。

选择 GPU 预设

如果你的 GPU 需要不同的配置，可以使用 --config 传入设备预设。例如：

just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4

设备预设存储在 kandinsky/configs/devices/ 中。选择与你的硬件和工作负载匹配的预设。

可用的模型目录名称

快速入门文档列出了以下模型目录名称：

  • pro
  • pro-pretrain
  • lite
  • lite-distill
  • lite-pretrain

默认的首次运行示例使用 pro-distill，该命令会下载 Pro 蒸馏五秒检查点。

在 ComfyUI 中使用 Kandinsky 6.0

Kandinsky 6.0 也支持 ComfyUI。通过 ComfyUI Manager 安装 kandinsky6 和 kandinsky6-sr，然后重启 ComfyUI。

仓库中的 comfyui/ 目录包含扩展源代码。无需手动复制。有关项目专用的安装详情，请参阅 ComfyUI 安装指南。

性能和优化提示

生成时间在很大程度上取决于模型系列、分辨率、GPU 和卸载策略。项目基准测试测量的是预热后生成五秒视频片段的工作时间，不包括权重加载和 MP4 编码。

文档中的硬件配置在 RTX PRO 6000、A100 80 GB 和 H100 80 GB 系统上使用模块卸载。消费级显卡使用块卸载。

注意力机制的实现也因 GPU 而异。RTX 4090、RTX 5060 Ti、RTX 5080、RTX 5090、RTX PRO 6000 和 A100 80 GB 系统使用 SageAttention2++ 处理视觉自注意力。H100 系统使用 FlashAttention 3。

解读基准测试结果

报告中的时间以秒为单位，针对使用非蒸馏模型生成五秒视频片段的情况。列出的配置包括 Lite SD、Lite HD、Lite Full HD、Pro SD、Pro HD 和 Pro Full HD。通常情况下，Lite 配置所需时间少于 Pro 配置，而在相同硬件上，生成 Full HD 所需时间多于生成 SD 或 HD。

如需进行最快速的本地实验，请从 Lite 或蒸馏检查点以及合适的设备预设开始。当结果需要更大的模型容量或更高的分辨率时，请使用 Pro 或 Full HD 配置。

实用工作流程

  1. 确认系统配备 NVIDIA GPU，并使用 Python 3.13 或 3.14。
  2. 安装 uv 和 just。
  3. 克隆代码仓库并运行 just setup。
  4. 使用 just download pro-distill 或其他受支持的目录名称下载检查点。
  5. 使用描述性提示词运行 just generate。
  6. 在带时间戳的输出目录中找到生成的 MP4 文件。
  7. 需要检查某次运行时，查看 expanded_prompt.txt、launch.json、日志和性能分析文件。
  8. 当工作流程需要不同的硬件设置或基于节点的控制时，切换到设备预设或 ComfyUI。

结语

Kandinsky 6.0 支持本地文本生成音频视频和图像生成音频视频，并提供同步音频、唇形同步以及可选的超分辨率功能。最简单的使用方式是通过 just setup 安装依赖，下载检查点，然后使用 just generate 运行提示词。如需更多控制，可以使用设备预设、检查生成的运行文件，或通过 ComfyUI Manager 安装 Kandinsky 6.0 扩展。

如需更多信息，请访问 KandinskyLab 网站、Diffusers 文档或 Hugging Face 演示。