Kandinsky 6.0 qo‘llanmasi: AI yordamida sinxron video va audio yaratish

Kandinsky 6.0 sinxronlashtirilgan matndan audio-video generatsiyasiga mo‘ljallangan diffuziya modellari oilasidir. Kandinsky 6.0 Video Lite 3 milliard parametrga, Kandinsky 6.0 Video Pro esa 29 milliard parametrga ega. Har ikkala model ham matndan audio-video va tasvirdan audio-video rejimlarida lip-sinxronizatsiyani o‘z ichiga olgan, sinxronlashtirilgan 44 kHz audioso‘nggi besh soniyalik kliplar yaratishi mumkin.

Super-rezolyutsiya plagini modeli chiqish aniqligini Full HD, ya’ni 1920×1080 gacha oshirishi mumkin. Ushbu qo‘llanmada loyihani o‘rnatasiz, checkpoint yuklaysiz, birinchi klipingizni yaratasiz, qurilma presetini tanlaysiz va Kandinsky 6.0 dasturini ishga tushirishning qo‘shimcha usullarini ko‘rib chiqasiz.

Kandinsky 6.0 taqdim etadigan imkoniyatlar

Kandinsky 6.0 faqat ovozsiz video sinteziga emas, balki sinxronlashtirilgan multimodal generatsiyaga mo‘ljallangan. Uning modellari video va audioni birgalikda yaratadi hamda matn va tasvirga asoslangan ish jarayonlarini qo‘llab-quvvatlaydi.

• Video va audio generatsiyasi: Sinxronlashtirilgan 44 kHz audio bilan besh soniyalik kliplar yarating.
• Lip-sinxronizatsiya: Yaratilgan kontent sinxronlashtirilgan lab harakatlarini o‘z ichiga olishi mumkin.
• Ikki xil model hajmi: 3B parametrli Video Lite oilasi va 29B parametrli Video Pro oilasidan birini tanlang.
• Ikki xil kiritish rejimi: Matndan audio-video yoki tasvirdan audio-video generatsiyasidan foydalaning.
• Super-rezolyutsiya: Chiqish aniqligini Full HD gacha oshirish uchun plagin super-rezolyutsiya modelidan foydalaning.

Talablar

Mahalliy tezkor ishga tushirish jarayoni NVIDIA GPU va Python 3.13 yoki 3.14 ni talab qiladi. Shuningdek, sizga uv va just kerak bo‘ladi.

O‘rnatish buyrug‘i GPU’ni aniqlaydi va mos PyTorch versiyasini o‘rnatadi. H100 va H200 qurilmalarini ham o‘z ichiga olgan Hopper GPU’lari FlashAttention 3 bilan CUDA 13.0 uchun PyTorch’dan foydalanadi. Ampere, Ada va iste’molchi Blackwell GPU’lari esa CUDA 13.0 uchun PyTorch hamda SageAttention 2.2.0 dan foydalanadi.

Agar Ampere, Ada yoki iste’molchi Blackwell GPU’sidan foydalansangiz, nvcc sizning PATH o‘zgaruvchingizda mavjud bo‘lishi kerak. O‘rnatish jarayoni CUDA_HOME qiymati sukut bo‘yicha /usr/local/cuda bo‘lishini kutadi.

Kandinsky 6.0 ni o‘rnatish

1. Repozitoriyni klonlash

Repozitoriyni klonlang va loyiha katalogiga o‘ting:

git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup

just setup buyrug‘i GPU’ni aniqlaydi va qo‘llab-quvvatlanadigan PyTorch hamda attention konfiguratsiyalaridan birini o‘rnatadi.

2. Modelni yuklab olish

Distillatsiyalangan Pro checkpoint’ini quyidagi buyruq bilan yuklab oling:

just download pro-distill

Birinchi ishga tushirishda loyiha Hugging Face’dan Kandinsky-6.0-Pro-distill-5s modelini yuklab oladi. Sukut bo‘yicha model og‘irliklari ~/.cache/kandinsky/weights katalogida saqlanadi.

Bu asosiy joylashuvni KANDINSKY_HOME muhit o‘zgaruvchisi orqali o‘zgartirishingiz mumkin. U o‘rnatilganda og‘irliklar $KANDINSKY_HOME/weights katalogida saqlanadi.

Birinchi videongizni yarating

O‘rnatish va modelni yuklab olishdan so‘ng matnli prompt asosida klip yarating:

just generate "a cat on a mat"

Yaratilgan MP4 vaqt belgisi qo‘yilgan chiqish katalogiga yoziladi:

$KANDINSKY_HOME/outputs/generate_<YYYY-MM-DDTHH-MM-SS>/generations/output.mp4

Agar KANDINSKY_HOME o‘rnatilmagan bo‘lsa, loyiha asosiy katalog sifatida ~/.cache/kandinsky dan foydalanadi. Xuddi shu generatsiya katalogida kengaytirilgan prompt expanded_prompt.txt faylida, ishga tushirish konfiguratsiyasi launch.json faylida, shuningdek logs/ va profiles/ kataloglarida saqlanadi.

Generatsiya buyrug‘i konfiguratsiyada ko‘rsatilgan checkpoint’ni, agar u mahalliy ravishda mavjud bo‘lmasa, yuklab oladi.

GPU presetini tanlash

Agar GPU’ingizga boshqa konfiguratsiya kerak bo‘lsa, --config orqali qurilma presetini uzating. Masalan:

just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4

Qurilma presetlari kandinsky/configs/devices/ katalogida saqlanadi. Qurilmangiz va ish yuklamangizga mos presetni tanlang.

Mavjud model katalogi nomlari

Tezkor boshlash hujjatlarida quyidagi model katalogi nomlari keltirilgan:

• pro
• pro-pretrain
• lite
• lite-distill
• lite-pretrain

Birinchi ishga tushirishdagi standart misolda pro-distill ishlatiladi; u besh soniyalik distillatsiyalangan Pro checkpoint’ini yuklab oladi.

Kandinsky 6.0 dan ComfyUI bilan foydalanish

Kandinsky 6.0 ComfyUI’ni ham qo‘llab-quvvatlaydi. ComfyUI Manager orqali kandinsky6 va kandinsky6-sr ni o‘rnating, so‘ng ComfyUI’ni qayta ishga tushiring.

Repozitoriyning comfyui/ katalogida kengaytma manba kodi mavjud. Fayllarni qo‘lda nusxalash talab etilmaydi. Loyihaga xos o‘rnatish tafsilotlari uchun ComfyUI o‘rnatish qo‘llanmasi bilan tanishing.

Ishlash unumdorligi va optimallashtirish bo‘yicha maslahatlar

Generatsiya vaqti model oilasi, aniqlik, GPU va offloading strategiyasiga kuchli darajada bog‘liq. Loyiha benchmark’lari qizdirishdan keyingi besh soniyalik klip uchun ish vaqtini o‘lchaydi; og‘irliklarni yuklash va MP4 kodlash hisobga olinmaydi.

Hujjatlarda keltirilgan apparat konfiguratsiyalarida RTX PRO 6000, A100 80 GB va H100 80 GB tizimlarida modul offloading ishlatiladi. Iste’molchi videokartalarida esa blokli offloading qo‘llanadi.

E’tibor bering, amalga oshirish GPU modeliga qarab ham farq qiladi. RTX 4090, RTX 5060 Ti, RTX 5080, RTX 5090, RTX PRO 6000 va A100 80 GB tizimlari vizual self-attention uchun SageAttention2++ dan foydalanadi. H100 tizimlari esa FlashAttention 3 dan foydalanadi.

Benchmark natijalarini talqin qilish

Ko‘rsatilgan vaqtlar distillatsiya qilinmagan model yordamida besh soniyalik klip uchun sekundlarda berilgan. Ro‘yxatdagi konfiguratsiyalarga Lite SD, Lite HD, Lite Full HD, Pro SD, Pro HD va Pro Full HD kiradi. Umuman olganda, Lite konfiguratsiyalari Pro konfiguratsiyalariga qaraganda kamroq vaqt talab qiladi, Full HD generatsiyasi esa bir xil qurilmada SD yoki HD generatsiyasidan ko‘proq vaqt oladi.

Eng tezkor lokal tajribalar uchun Lite yoki distillatsiya qilingan checkpoint hamda mos qurilma presetidan boshlang. Natijangiz uchun qo‘shimcha model sig‘imi yoki yuqoriroq aniqlik muhim bo‘lsa, Pro yoki Full HD konfiguratsiyalaridan foydalaning.

Amaliy ish jarayoni

1. Tizimingizda NVIDIA GPU hamda Python 3.13 yoki 3.14 mavjudligini tasdiqlang.
2. uv va just ni o‘rnating.
3. Repozitoriyni klonlang va just setup buyrug‘ini ishga tushiring.
4. just download pro-distill yoki qo‘llab-quvvatlanadigan boshqa katalog nomi yordamida checkpointni yuklab oling.
5. Tavsiflovchi prompt bilan just generate buyrug‘ini ishga tushiring.
6. Yaratilgan MP4 faylini vaqt belgisi qo‘yilgan chiqish katalogidan toping.
7. Ish jarayonini tekshirish kerak bo‘lganda expanded_prompt.txt, launch.json, jurnallar va profillarni ko‘rib chiqing.
8. Ish jarayoningizga boshqa apparat sozlamalari yoki tugunlar asosidagi boshqaruv kerak bo‘lsa, qurilma presetiga yoki ComfyUI’ga o‘ting.

Xulosa

Kandinsky 6.0 sinxronlashtirilgan audio, lablar sinxronizatsiyasi va ixtiyoriy superrezolyutsiya bilan lokal matndan audio-video hamda tasvirdan audio-video generatsiyasini taqdim etadi. Eng sodda yo‘l — bog‘liqliklarni just setup yordamida o‘rnatish, checkpointni yuklab olish va just generate bilan promptni ishga tushirish. Ko‘proq boshqaruv uchun qurilma presetlaridan foydalaning, yaratilgan ish fayllarini tekshiring yoki Kandinsky 6.0 kengaytmalarini ComfyUI Manager orqali o‘rnating.

Qo‘shimcha ma’lumot uchun KandinskyLab veb-saytiga, Diffusers hujjatlariga yoki Hugging Face demosiga tashrif buyuring.