Mafunzo ya Kandinsky 6.0: Tengeneza Video na Sauti Zilizosawazishwa kwa AI

Kandinsky 6.0 ni familia ya miundo ya diffusion kwa ajili ya uzalishaji uliosawazishwa wa maandishi-hadi-sauti-video. Kandinsky 6.0 Video Lite ina vigezo bilioni 3, huku Kandinsky 6.0 Video Pro ikiwa na vigezo bilioni 29. Miundo yote miwili inaweza kuunda klipu za sekunde tano zenye sauti ya 44 kHz iliyosawazishwa, ikiwemo usawazishaji wa mdomo, katika hali za maandishi-hadi-sauti-video na picha-hadi-sauti-video.

Muundo wa ziada wa super-resolution unaweza kuongeza ubora wa matokeo hadi Full HD, yaani 1920×1080. Katika mafunzo haya, utaweka mradi, kupakua checkpoint, kuzalisha klipu yako ya kwanza, kuchagua usanidi wa kifaa, na kukagua njia za ziada za kutumia Kandinsky 6.0.

Kandinsky 6.0 hutoa nini

Kandinsky 6.0 imeundwa kwa ajili ya uzalishaji wa aina mbalimbali uliosawazishwa, badala ya usanisi wa video isiyo na sauti pekee. Miundo yake huzalisha video na sauti kwa pamoja, ikiunga mkono mtiririko wa kazi unaoendeshwa na maandishi na unaoendeshwa na picha.

• Uzalishaji wa video na sauti: Unda klipu za sekunde tano zenye sauti ya 44 kHz iliyosawazishwa.
• Usawazishaji wa mdomo: Maudhui yaliyotengenezwa yanaweza kujumuisha miondoko ya mdomo iliyosawazishwa.
• Ukubwa wa miundo miwili: Chagua kati ya familia ya Video Lite yenye vigezo 3B na familia ya Video Pro yenye vigezo 29B.
• Hali mbili za uingizaji: Tumia uzalishaji wa maandishi-hadi-sauti-video au picha-hadi-sauti-video.
• Super-resolution: Tumia muundo wa super-resolution wa programu-jalizi ili kuongeza ubora wa matokeo hadi Full HD.

Mahitaji

Mtiririko wa kuanza haraka wa ndani unahitaji GPU ya NVIDIA na Python 3.13 au 3.14. Utahitaji pia uv na just.

Amri ya usanidi hutambua GPU na kusakinisha toleo linalofaa la PyTorch. GPU za Hopper, zikiwemo vifaa vya H100 na H200, hutumia PyTorch ya CUDA 13.0 pamoja na FlashAttention 3. GPU za Ampere, Ada na Blackwell za watumiaji hutumia PyTorch ya CUDA 13.0 pamoja na SageAttention 2.2.0.

Ikiwa unatumia GPU ya Ampere, Ada au Blackwell ya mtumiaji, nvcc lazima ipatikane kwenye PATH yako. Usanidi unatarajia CUDA_HOME iwe na thamani chaguo-msingi ya /usr/local/cuda.

Sakinisha Kandinsky 6.0

1. Nakili hazina

Kloni hazina na uingie kwenye saraka ya mradi:

git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup

Amri ya just setup husoma GPU yako na kusakinisha mojawapo ya usanidi unaoungwa mkono wa PyTorch na attention.

2. Pakua muundo

Pakua checkpoint ya Pro iliyodistiliwa kwa kutumia:

just download pro-distill

Wakati wa kuendesha kwa mara ya kwanza, mradi hupakua Kandinsky-6.0-Pro-distill-5s kutoka Hugging Face. Kwa chaguo-msingi, uzani wa muundo huhifadhiwa kwenye ~/.cache/kandinsky/weights.

Unaweza kubadilisha eneo hili la msingi kwa kutumia kigezo cha mazingira cha KANDINSKY_HOME. Kikowekwa, uzani huhifadhiwa kwenye $KANDINSKY_HOME/weights.

Zalisha video yako ya kwanza

Baada ya kusanidi na kupakua muundo, zalisha klipu kutoka kwa amri ya maandishi:

just generate "a cat on a mat"

MP4 inayotokana huandikwa kwenye saraka ya matokeo yenye muhuri wa muda:

$KANDINSKY_HOME/outputs/generate_<YYYY-MM-DDTHH-MM-SS>/generations/output.mp4

Ikiwa KANDINSKY_HOME haijawekwa, mradi hutumia ~/.cache/kandinsky kama saraka yake chaguo-msingi ya nyumbani. Saraka hiyo hiyo ya uzalishaji pia ina amri iliyopanuliwa kwenye expanded_prompt.txt, usanidi wa uendeshaji kwenye launch.json, pamoja na saraka za logs/ na profiles/.

Amri ya generate hupakua checkpoint iliyotajwa kwenye usanidi ikiwa bado haipatikani kwenye mfumo wa ndani.

Chagua usanidi wa GPU

Ikiwa GPU yako inahitaji usanidi tofauti, pitisha usanidi wa kifaa kwa kutumia --config. Kwa mfano:

just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4

Usanidi wa vifaa huhifadhiwa kwenye kandinsky/configs/devices/. Chagua usanidi unaolingana na maunzi na mzigo wako wa kazi.

Majina yanayopatikana kwenye katalogi ya miundo

Nyaraka za kuanza haraka zinaorodhesha majina haya ya katalogi ya miundo:

• pro
• pro-pretrain
• lite
• lite-distill
• lite-pretrain

Mfano chaguo-msingi wa uendeshaji wa kwanza hutumia pro-distill, ambayo hupakua checkpoint ya Pro iliyodistiliwa ya sekunde tano.

Tumia Kandinsky 6.0 na ComfyUI

Kandinsky 6.0 pia inaauni ComfyUI. Sakinisha kandinsky6 na kandinsky6-sr kupitia ComfyUI Manager, kisha uwashe upya ComfyUI.

Saraka ya comfyui/ ya hazina ina msimbo wa chanzo wa kiendelezi. Kunakili mwenyewe hakuhitajiki. Kwa maelezo mahususi ya usakinishaji wa mradi, soma mwongozo wa usanidi wa ComfyUI.

Vidokezo vya utendaji na uboreshaji

Muda wa uzalishaji hutegemea sana familia ya muundo, ubora, GPU na mkakati wa kupakua moduli kwenye kifaa. Vipimo vya mradi hupima muda wa kufanya kazi kwa klipu ya sekunde tano baada ya maandalizi ya awali; upakiaji wa uzani na usimbaji wa MP4 haujajumuishwa.

Usanidi wa maunzi ulioandikwa hutumia upakuaji wa moduli kwenye RTX PRO 6000, A100 80 GB na mifumo ya H100 80 GB. Kadi za watumiaji hutumia upakuaji wa vitalu.

Usikivu pia hutofautiana kulingana na GPU. Mifumo ya RTX 4090, RTX 5060 Ti, RTX 5080, RTX 5090, RTX PRO 6000 na A100 80 GB hutumia SageAttention2++ kwa usikivu wa kuona wa kujielekeza. Mifumo ya H100 hutumia FlashAttention 3.

Tafsiri matokeo ya alama za utendaji

Muda ulioripotiwa uko katika sekunde kwa klipu ya sekunde tano inayotumia modeli isiyopunguzwa. Mipangilio iliyoorodheshwa inajumuisha Lite SD, Lite HD, Lite Full HD, Pro SD, Pro HD na Pro Full HD. Kwa ujumla, mipangilio ya Lite huhitaji muda mfupi kuliko mipangilio ya Pro, huku utengenezaji wa Full HD ukihitaji muda zaidi kuliko utengenezaji wa SD au HD kwenye maunzi yale yale.

Kwa majaribio ya haraka zaidi ya ndani, anza na checkpoint ya Lite au iliyopunguzwa pamoja na mipangilio sahihi ya kifaa. Tumia mipangilio ya Pro au Full HD wakati uwezo wa ziada wa modeli au mwonekano wa juu ni muhimu kwa matokeo yako.

Mtiririko wa kazi wa vitendo

1. Thibitisha kuwa mfumo wako una GPU ya NVIDIA na Python 3.13 au 3.14.
2. Sakinisha uv na just.
3. Fanya clone ya hazina na utekeleze just setup.
4. Pakua checkpoint kwa just download pro-distill au jina jingine linalotumika katika katalogi.
5. Tekeleza just generate pamoja na prompt yenye maelezo.
6. Tafuta MP4 iliyotengenezwa katika saraka ya matokeo yenye muhuri wa muda.
7. Kagua expanded_prompt.txt, launch.json, kumbukumbu na profaili unapohitaji kuchunguza uendeshaji.
8. Badili hadi mipangilio ya kifaa au ComfyUI wakati mtiririko wako wa kazi unahitaji mipangilio tofauti ya maunzi au udhibiti unaotegemea nodi.

Hitimisho

Kandinsky 6.0 hutoa utengenezaji wa ndani wa maandishi-hadi-sauti-video na picha-hadi-sauti-video wenye sauti iliyosawazishwa, usaidizi wa kusawazisha midomo na uboreshaji wa hiari wa mwonekano. Njia rahisi zaidi ni kusakinisha vitegemezi kwa just setup, kupakua checkpoint na kuendesha prompt kwa just generate. Kwa udhibiti zaidi, tumia mipangilio ya kifaa, kagua faili za uendeshaji zilizotengenezwa au sakinisha viendelezi vya Kandinsky 6.0 kupitia ComfyUI Manager.

Kwa maelezo zaidi, tembelea tovuti ya KandinskyLab, nyaraka za Diffusers au onyesho la Hugging Face.