AIチュートリアル

Kandinsky 6.0チュートリアル：AIで映像と音声を同期生成する

Kandinsky 6.0のインストール、モデルチェックポイントのダウンロード、テキストプロンプトからの同期映像と44 kHz音声の生成、GPUプリセットの選択、ComfyUIの使用方法を学びます。さらに、プロジェクトのパフォーマンス設定でワークフローを最適化する方法も解説します。

2026年10月6日約10分で読了

Kandinsky 6.0は、テキストから音声と映像を同期生成する拡散モデルファミリーです。Kandinsky 6.0 Video Liteは30億パラメータ、Kandinsky 6.0 Video Proは290億パラメータを備えています。どちらのモデルも、リップシンクを含む44 kHzの音声を同期させた5秒間のクリップを、テキストから音声・映像へ、または画像から音声・映像へ変換するモードで作成できます。

プラグインの超解像モデルを使うと、出力解像度をフルHD（1920×1080）まで高められます。このチュートリアルでは、プロジェクトのインストール、チェックポイントのダウンロード、最初のクリップの生成、デバイスプリセットの選択、Kandinsky 6.0を実行するその他の方法を確認します。

Kandinsky 6.0でできること

Kandinsky 6.0は、無音の動画生成だけでなく、音声と映像を同期させたマルチモーダル生成を目的に設計されています。モデルは映像と音声を同時に生成し、テキストベースと画像ベースの両方のワークフローに対応します。

映像と音声の生成: 44 kHzの音声を同期させた5秒間のクリップを作成できます。
リップシンク: 生成コンテンツに、同期した唇の動きを含められます。
2種類のモデルサイズ: 30億パラメータのVideo Liteファミリーと、290億パラメータのVideo Proファミリーから選択できます。
2種類の入力モード: テキストから音声・映像へ、または画像から音声・映像への生成を利用できます。
超解像: プラグインの超解像モデルを使って、出力解像度をフルHDまで高められます。

要件

ローカルでのクイックスタートワークフローには、NVIDIA GPUとPython 3.13または3.14が必要です。また、uvとjustも必要です。

セットアップコマンドはGPUを検出し、適切なPyTorchビルドをインストールします。H100やH200を含むHopper GPUでは、FlashAttention 3を備えたCUDA 13.0向けPyTorchを使用します。Ampere、Ada、コンシューマー向けBlackwell GPUでは、CUDA 13.0向けPyTorchとSageAttention 2.2.0を使用します。

Ampere、Ada、またはコンシューマー向けBlackwell GPUを使用する場合は、nvccをPATHから利用できる必要があります。セットアップでは、CUDA_HOMEがデフォルトで/usr/local/cudaに設定されていることを想定します。

Kandinsky 6.0をインストールする

1. リポジトリをクローンする

リポジトリをクローンして、プロジェクトディレクトリに移動します。

git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup

just setupコマンドはGPUを確認し、対応するPyTorchとアテンションの構成のいずれかをインストールします。

2. モデルをダウンロードする

Pro蒸留チェックポイントを次のコマンドでダウンロードします。

just download pro-distill

初回実行時に、プロジェクトはHugging FaceからKandinsky-6.0-Pro-distill-5sをダウンロードします。デフォルトでは、モデルの重みは~/.cache/kandinsky/weightsに保存されます。

このベースの保存先は、KANDINSKY_HOME環境変数で変更できます。設定すると、重みは$KANDINSKY_HOME/weightsに保存されます。

最初の動画を生成する

セットアップとモデルのダウンロードが完了したら、テキストプロンプトからクリップを生成します。

just generate "a cat on a mat"

生成されたMP4は、タイムスタンプ付きの出力ディレクトリに書き込まれます。

$KANDINSKY_HOME/outputs/generate_<YYYY-MM-DDTHH-MM-SS>/generations/output.mp4

KANDINSKY_HOMEが設定されていない場合、プロジェクトは~/.cache/kandinskyをデフォルトのホームディレクトリとして使用します。同じ生成ディレクトリには、展開されたプロンプトのexpanded_prompt.txt、実行構成のlaunch.json、logs/およびprofiles/ディレクトリも含まれます。

generateコマンドは、設定で指定されたチェックポイントがローカルにまだ存在しない場合、チェックポイントをダウンロードします。

GPUプリセットを選択する

GPUに別の構成が必要な場合は、--configでデバイスプリセットを指定します。例:

just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4

デバイスプリセットはkandinsky/configs/devices/に保存されています。ハードウェアとワークロードに合ったプリセットを選択してください。

利用可能なモデルカタログ名

クイックスタートドキュメントには、次のモデルカタログ名が記載されています。

pro
pro-pretrain
lite
lite-distill
lite-pretrain

初回実行のデフォルト例ではpro-distillを使用し、Proの5秒間蒸留チェックポイントをダウンロードします。

ComfyUIでKandinsky 6.0を使用する

Kandinsky 6.0はComfyUIにも対応しています。ComfyUI Managerからkandinsky6とkandinsky6-srをインストールし、ComfyUIを再起動します。

リポジトリのcomfyui/ディレクトリには拡張機能のソースコードが含まれています。手動でコピーする必要はありません。プロジェクト固有のインストール方法については、ComfyUIセットアップガイドを参照してください。

パフォーマンスと最適化のヒント

生成時間は、モデルファミリー、解像度、GPU、オフロード方式に大きく左右されます。プロジェクトのベンチマークでは、ウォームアップ後に5秒間のクリップを生成する実行時間を測定しています。重みの読み込みとMP4エンコードは含まれません。

ドキュメントに記載されたハードウェア構成では、RTX PRO 6000、A100 80 GB、H100 80 GBシステムでモジュールオフロードを使用します。コンシューマー向けカードではブロックオフロードを使用します。

なお、アテンションの実装はGPUによっても異なります。RTX 4090、RTX 5060 Ti、RTX 5080、RTX 5090、RTX PRO 6000、A100 80 GBのシステムでは、ビジュアル自己アテンションにSageAttention2++を使用します。H100のシステムではFlashAttention 3を使用します。

ベンチマーク結果の解釈

表示されている時間は、非蒸留モデルで5秒間のクリップを生成した場合の秒数です。掲載されている構成には、Lite SD、Lite HD、Lite Full HD、Pro SD、Pro HD、Pro Full HDが含まれます。一般に、Lite構成はPro構成よりも短時間で処理できます。一方、同じハードウェアでは、Full HDの生成にSDやHDよりも長い時間がかかります。

ローカルで最速の実験を行うには、Liteまたは蒸留済みチェックポイントと、適切なデバイスプリセットから始めてください。結果に追加のモデル容量や解像度が重要な場合は、ProまたはFull HD構成を使用します。

実践的なワークフロー

システムにNVIDIA GPUとPython 3.13または3.14が搭載されていることを確認します。
uvとjustをインストールします。
リポジトリをクローンし、just setupを実行します。
just download pro-distillまたは別の対応カタログ名でチェックポイントをダウンロードします。
説明的なプロンプトを指定してjust generateを実行します。
タイムスタンプ付きの出力ディレクトリで、生成されたMP4を確認します。
実行内容を確認する必要がある場合は、expanded_prompt.txt、launch.json、ログ、プロファイルを確認します。
ワークフローで異なるハードウェア設定やノードベースの制御が必要な場合は、デバイスプリセットまたはComfyUIに切り替えます。

まとめ

Kandinsky 6.0は、音声同期、リップシンク対応、オプションの超解像機能を備えた、ローカルでのテキストから音声・動画、および画像から音声・動画への生成を提供します。最も簡単な方法は、just setupで依存関係をインストールし、チェックポイントをダウンロードして、just generateでプロンプトを実行することです。より細かく制御するには、デバイスプリセットを使用し、生成された実行ファイルを確認するか、ComfyUI ManagerからKandinsky 6.0拡張機能をインストールしてください。

詳細については、KandinskyLabのウェブサイト、Diffusersのドキュメント、またはHugging Faceのデモをご覧ください。