주요 콘텐츠로 건너뛰기
AI 튜토리얼

Kandinsky 6.0 튜토리얼: AI로 동기화된 비디오와 오디오 생성하기

Kandinsky 6.0 설치, 모델 체크포인트 다운로드, 텍스트 프롬프트로 동기화된 비디오와 44 kHz 오디오 생성, GPU 프리셋 선택, ComfyUI 사용, 프로젝트의 성능 옵션을 활용한 워크플로 최적화 방법을 알아보세요.

약 9분 소요
Kandinsky 6.0 튜토리얼: AI로 동기화된 비디오와 오디오 생성하기

Kandinsky 6.0은 텍스트-오디오-비디오 동기화 생성을 위한 확산 모델 제품군입니다. Kandinsky 6.0 Video Lite는 30억 개의 매개변수를, Kandinsky 6.0 Video Pro는 290억 개의 매개변수를 제공합니다. 두 모델 모두 립싱크를 포함해 텍스트-오디오-비디오 및 이미지-오디오-비디오 모드에서 동기화된 44kHz 오디오가 포함된 5초 길이의 클립을 생성할 수 있습니다.

플러그인 초고해상도 모델을 사용하면 출력 해상도를 Full HD, 즉 1920×1080으로 높일 수 있습니다. 이 튜토리얼에서는 프로젝트를 설치하고, 체크포인트를 다운로드하고, 첫 번째 클립을 생성하고, 디바이스 프리셋을 선택하고, Kandinsky 6.0을 실행하는 추가 방법을 살펴봅니다.

Kandinsky 6.0 프로젝트 미리보기

Kandinsky 6.0이 제공하는 기능

Kandinsky 6.0은 무음 비디오 합성만이 아니라 동기화된 멀티모달 생성을 위해 설계되었습니다. 이 모델은 비디오와 오디오를 함께 생성하며, 텍스트 기반 및 이미지 기반 워크플로를 모두 지원합니다.

  • 비디오 및 오디오 생성: 동기화된 44kHz 오디오가 포함된 5초 길이의 클립을 생성합니다.
  • 립싱크: 생성된 콘텐츠에 동기화된 입술 움직임을 포함할 수 있습니다.
  • 두 가지 모델 크기: 30억 매개변수의 Video Lite 제품군과 290억 매개변수의 Video Pro 제품군 중에서 선택합니다.
  • 두 가지 입력 모드: 텍스트-오디오-비디오 또는 이미지-오디오-비디오 생성을 사용합니다.
  • 초고해상도: 플러그인 초고해상도 모델을 사용해 출력 해상도를 Full HD로 높입니다.

요구 사항

로컬 빠른 시작 워크플로에는 NVIDIA GPU와 Python 3.13 또는 3.14가 필요합니다. 또한 uv와 just도 필요합니다.

설정 명령은 GPU를 감지하고 적절한 PyTorch 빌드를 설치합니다. H100 및 H200 디바이스를 포함한 Hopper GPU는 FlashAttention 3과 함께 CUDA 13.0용 PyTorch를 사용합니다. Ampere, Ada 및 일반 소비자용 Blackwell GPU는 CUDA 13.0용 PyTorch와 SageAttention 2.2.0을 사용합니다.

Ampere, Ada 또는 일반 소비자용 Blackwell GPU를 사용하는 경우 nvcc를 PATH에서 사용할 수 있어야 합니다. 설정에서는 CUDA_HOME의 기본값이 /usr/local/cuda라고 가정합니다.

Kandinsky 6.0 설치

1. 저장소 복제

저장소를 복제하고 프로젝트 디렉터리로 이동합니다.

git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup

just setup 명령은 GPU를 확인하고 지원되는 PyTorch 및 어텐션 구성 중 하나를 설치합니다.

2. 모델 다운로드

다음 명령으로 Pro 증류 체크포인트를 다운로드합니다.

just download pro-distill

처음 실행하면 프로젝트가 Hugging Face에서 Kandinsky-6.0-Pro-distill-5s를 다운로드합니다. 기본적으로 모델 가중치는 ~/.cache/kandinsky/weights 아래에 저장됩니다.

KANDINSKY_HOME 환경 변수로 이 기본 위치를 변경할 수 있습니다. 이 변수가 설정되면 가중치는 $KANDINSKY_HOME/weights에 저장됩니다.

첫 번째 비디오 생성

설정과 모델 다운로드가 완료되면 텍스트 프롬프트에서 클립을 생성합니다.

just generate "a cat on a mat"

생성된 MP4는 타임스탬프가 포함된 출력 디렉터리에 저장됩니다.

$KANDINSKY_HOME/outputs/generate_<YYYY-MM-DDTHH-MM-SS>/generations/output.mp4

KANDINSKY_HOME이 설정되지 않은 경우 프로젝트는 기본 홈 디렉터리로 ~/.cache/kandinsky를 사용합니다. 동일한 생성 디렉터리에는 확장된 프롬프트가 담긴 expanded_prompt.txt, 실행 구성이 담긴 launch.json, 그리고 logs/ 및 profiles/ 디렉터리도 포함됩니다.

생성 명령은 체크포인트가 로컬에 아직 없으면 구성에 지정된 체크포인트를 다운로드합니다.

GPU 프리셋 선택

GPU에 다른 구성이 필요한 경우 --config으로 디바이스 프리셋을 전달합니다. 예를 들면 다음과 같습니다.

just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4

디바이스 프리셋은 kandinsky/configs/devices/에 저장됩니다. 하드웨어와 워크로드에 맞는 프리셋을 선택합니다.

사용 가능한 모델 카탈로그 이름

빠른 시작 문서에는 다음 모델 카탈로그 이름이 나와 있습니다.

  • pro
  • pro-pretrain
  • lite
  • lite-distill
  • lite-pretrain

처음 실행하는 기본 예제에서는 pro-distill을 사용하며, Pro 증류 5초 체크포인트를 다운로드합니다.

ComfyUI에서 Kandinsky 6.0 사용

Kandinsky 6.0은 ComfyUI도 지원합니다. ComfyUI Manager를 통해 kandinsky6과 kandinsky6-sr를 설치한 다음 ComfyUI를 다시 시작합니다.

저장소의 comfyui/ 디렉터리에는 확장 프로그램 소스 코드가 포함되어 있습니다. 수동 복사는 필요하지 않습니다. 프로젝트별 설치 세부 정보는 ComfyUI 설정 가이드를 참조하세요.

성능 및 최적화 팁

생성 시간은 모델 제품군, 해상도, GPU 및 오프로딩 전략에 크게 좌우됩니다. 프로젝트의 벤치마크는 워밍업 후 5초 클립을 생성하는 작업 시간을 측정하며, 가중치 로딩과 MP4 인코딩은 제외합니다.

문서에 명시된 하드웨어 구성은 RTX PRO 6000, A100 80GB 및 H100 80GB 시스템에서 모듈 오프로딩을 사용합니다. 소비자용 카드는 블록 오프로딩을 사용합니다.

어텐션 구현은 GPU에 따라서도 달라집니다. RTX 4090, RTX 5060 Ti, RTX 5080, RTX 5090, RTX PRO 6000 및 A100 80 GB 시스템은 시각적 셀프 어텐션에 SageAttention2++를 사용합니다. H100 시스템은 FlashAttention 3을 사용합니다.

벤치마크 결과 해석

보고된 시간은 비증류 모델을 사용해 5초 클립을 생성하는 데 걸리는 시간(초)입니다. 나열된 구성에는 Lite SD, Lite HD, Lite Full HD, Pro SD, Pro HD 및 Pro Full HD가 포함됩니다. 일반적으로 Lite 구성은 Pro 구성보다 시간이 적게 걸리며, 동일한 하드웨어에서는 Full HD 생성이 SD 또는 HD 생성보다 더 오래 걸립니다.

가장 빠른 로컬 실험을 위해서는 Lite 또는 증류 체크포인트와 적절한 장치 프리셋으로 시작하세요. 결과에 추가적인 모델 용량이나 해상도가 중요할 때는 Pro 또는 Full HD 구성을 사용하세요.

실용적인 워크플로

  1. 시스템에 NVIDIA GPU와 Python 3.13 또는 3.14가 설치되어 있는지 확인합니다.
  2. uv와 just를 설치합니다.
  3. 저장소를 복제하고 just setup을 실행합니다.
  4. just download pro-distill 또는 지원되는 다른 카탈로그 이름으로 체크포인트를 다운로드합니다.
  5. 설명을 작성해 just generate를 실행합니다.
  6. 타임스탬프가 포함된 출력 디렉터리에서 생성된 MP4를 찾습니다.
  7. 실행 결과를 확인해야 할 때 expanded_prompt.txt, launch.json, 로그 및 프로파일을 검토합니다.
  8. 워크플로에 다른 하드웨어 설정이나 노드 기반 제어가 필요하면 장치 프리셋 또는 ComfyUI로 전환합니다.

결론

Kandinsky 6.0은 오디오가 동기화된 로컬 텍스트-투-오디오-비디오 및 이미지-투-오디오-비디오 생성을 제공하며, 립싱크 지원과 선택적 초고해상도 기능을 갖추고 있습니다. 가장 간단한 방법은 just setup으로 종속 항목을 설치하고, 체크포인트를 다운로드한 다음, just generate로 프롬프트를 실행하는 것입니다. 더 세밀하게 제어하려면 장치 프리셋을 사용하고, 생성된 실행 파일을 검토하거나, ComfyUI Manager를 통해 Kandinsky 6.0 확장을 설치하세요.

자세한 내용은 KandinskyLab 웹사이트, Diffusers 문서 또는 Hugging Face 데모를 참조하세요.