مرکزی مواد پر جائیں
اے آئی ٹیوٹوریلز

Kینڈنسکی 6.0 ٹیوٹوریل: AI کے ساتھ ہم آہنگ ویڈیو اور آڈیو بنائیں

Kینڈنسکی 6.0 انسٹال کرنے، ماڈل چیک پوائنٹ ڈاؤن لوڈ کرنے، ٹیکسٹ پرامپٹ سے ہم آہنگ ویڈیو اور 44 kHz آڈیو بنانے، GPU پری سیٹس منتخب کرنے، ComfyUI استعمال کرنے اور پروجیکٹ کے کارکردگی کے اختیارات سے ورک فلو بہتر بنانے کا طریقہ سیکھیں۔

تقریباً 14 منٹ کا مطالعہ
Kینڈنسکی 6.0 ٹیوٹوریل: AI سے ہم آہنگ ویڈیو اور آڈیو بنائیں

Kandinsky 6.0 ہم آہنگ متن سے آڈیو اور ویڈیو تیار کرنے کے لیے ڈفیوژن ماڈلز کا خاندان ہے۔ Kandinsky 6.0 Video Lite میں 3 ارب پیرامیٹرز ہیں، جبکہ Kandinsky 6.0 Video Pro میں 29 ارب پیرامیٹرز ہیں۔ دونوں ماڈلز متن سے آڈیو-ویڈیو اور تصویر سے آڈیو-ویڈیو موڈز میں ہونٹوں کی ہم آہنگی سمیت 44 kHz آڈیو کے ساتھ پانچ سیکنڈ کے کلپس تیار کر سکتے ہیں۔

ایک پلگ اِن سپر ریزولوشن ماڈل آؤٹ پٹ ریزولوشن کو Full HD، یعنی 1920×1080، تک بڑھا سکتا ہے۔ اس ٹیوٹوریل میں آپ پروجیکٹ انسٹال کریں گے، چیک پوائنٹ ڈاؤن لوڈ کریں گے، اپنا پہلا کلپ تیار کریں گے، ڈیوائس پری سیٹ منتخب کریں گے، اور Kandinsky 6.0 چلانے کے اضافی طریقے دیکھیں گے۔

Kandinsky 6.0 پروجیکٹ کا پیش منظر

Kandinsky 6.0 کیا فراہم کرتا ہے

Kandinsky 6.0 کو صرف خاموش ویڈیو تیار کرنے کے بجائے ہم آہنگ ملٹی موڈل جنریشن کے لیے ڈیزائن کیا گیا ہے۔ اس کے ماڈلز ویڈیو اور آڈیو ایک ساتھ تیار کرتے ہیں، اور متن پر مبنی اور تصویر پر مبنی دونوں ورک فلو کی معاونت کرتے ہیں۔

  • ویڈیو اور آڈیو جنریشن: ہم آہنگ 44 kHz آڈیو کے ساتھ پانچ سیکنڈ کے کلپس تیار کریں۔
  • ہونٹوں کی ہم آہنگی: تیار کردہ مواد میں ہم آہنگ ہونٹوں کی حرکات شامل ہو سکتی ہیں۔
  • ماڈل کے دو سائز: 3B پیرامیٹر والے Video Lite خاندان اور 29B پیرامیٹر والے Video Pro خاندان میں سے انتخاب کریں۔
  • ان پٹ کے دو موڈز: متن سے آڈیو-ویڈیو یا تصویر سے آڈیو-ویڈیو جنریشن استعمال کریں۔
  • سپر ریزولوشن: آؤٹ پٹ ریزولوشن کو Full HD تک بڑھانے کے لیے پلگ اِن سپر ریزولوشن ماڈل استعمال کریں۔

ضروریات

مقامی فوری آغاز کے ورک فلو کے لیے NVIDIA GPU اور Python 3.13 یا 3.14 درکار ہے۔ آپ کو uv اور just کی بھی ضرورت ہوگی۔

سیٹ اپ کمانڈ GPU کا پتا لگاتی ہے اور موزوں PyTorch بلڈ انسٹال کرتی ہے۔ H100 اور H200 ڈیوائسز سمیت Hopper GPUs، FlashAttention 3 کے ساتھ CUDA 13.0 کے لیے PyTorch استعمال کرتے ہیں۔ Ampere، Ada اور صارفین کے لیے دستیاب Blackwell GPUs، CUDA 13.0 اور SageAttention 2.2.0 کے لیے PyTorch استعمال کرتے ہیں۔

اگر آپ Ampere، Ada یا صارفین کے لیے دستیاب Blackwell GPU استعمال کر رہے ہیں تو nvcc آپ کے PATH میں دستیاب ہونا چاہیے۔ سیٹ اپ میں توقع کی جاتی ہے کہ CUDA_HOME کی ڈیفالٹ قدر /usr/local/cuda ہوگی۔

Kandinsky 6.0 انسٹال کریں

1. ریپوزٹری کلون کریں

ریپوزٹری کلون کریں اور پروجیکٹ ڈائریکٹری میں جائیں:

git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup

just setup کمانڈ آپ کے GPU کی معلومات پڑھتی ہے اور معاون PyTorch اور اٹینشن کنفیگریشنز میں سے ایک انسٹال کرتی ہے۔

2. ماڈل ڈاؤن لوڈ کریں

Pro distilled چیک پوائنٹ اس کمانڈ سے ڈاؤن لوڈ کریں:

just download pro-distill

پہلی بار چلانے پر پروجیکٹ Hugging Face سے Kandinsky-6.0-Pro-distill-5s ڈاؤن لوڈ کرتا ہے۔ ڈیفالٹ طور پر ماڈل کے وزن ~/.cache/kandinsky/weights میں محفوظ ہوتے ہیں۔

آپ KANDINSKY_HOME ماحولیتی متغیر کے ذریعے اس بنیادی مقام کو تبدیل کر سکتے ہیں۔ جب یہ سیٹ ہو تو وزن $KANDINSKY_HOME/weights میں محفوظ ہوتے ہیں۔

سیٹ اپ اور ماڈل ڈاؤن لوڈ کرنے کے بعد، متنی پرامپٹ سے ایک کلپ تیار کریں:

just generate "a cat on a mat"

نتیجے میں بننے والی MP4 ٹائم اسٹیمپ والی آؤٹ پٹ ڈائریکٹری میں لکھی جاتی ہے:

$KANDINSKY_HOME/outputs/generate_<YYYY-MM-DDTHH-MM-SS>/generations/output.mp4

اگر KANDINSKY_HOME سیٹ نہ ہو تو پروجیکٹ اپنی ڈیفالٹ ہوم ڈائریکٹری کے طور پر ~/.cache/kandinsky استعمال کرتا ہے۔ اسی جنریشن ڈائریکٹری میں وسیع شدہ پرامپٹ expanded_prompt.txt، رَن کنفیگریشن launch.json، اور logs/ اور profiles/ ڈائریکٹریز بھی شامل ہوتی ہیں۔

اگر کنفیگریشن میں درج چیک پوائنٹ مقامی طور پر دستیاب نہ ہو تو generate کمانڈ اسے ڈاؤن لوڈ کرتی ہے۔

GPU پری سیٹ منتخب کریں

اگر آپ کے GPU کے لیے مختلف کنفیگریشن درکار ہو تو --config کے ذریعے ڈیوائس پری سیٹ دیں۔ مثال کے طور پر:

just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4

ڈیوائس پری سیٹس kandinsky/configs/devices/ میں محفوظ ہوتے ہیں۔ اپنے ہارڈویئر اور ورک لوڈ سے مطابقت رکھنے والا پری سیٹ منتخب کریں۔

دستیاب ماڈل کیٹلاگ نام

فوری آغاز کی دستاویزات میں یہ ماڈل کیٹلاگ نام درج ہیں:

  • pro
  • pro-pretrain
  • lite
  • lite-distill
  • lite-pretrain

پہلی بار کی ڈیفالٹ مثال pro-distill استعمال کرتی ہے، جو پانچ سیکنڈ کا Pro distilled چیک پوائنٹ ڈاؤن لوڈ کرتی ہے۔

ComfyUI کے ساتھ Kandinsky 6.0 استعمال کریں

Kandinsky 6.0 ComfyUI کو بھی سپورٹ کرتا ہے۔ ComfyUI Manager کے ذریعے kandinsky6 اور kandinsky6-sr انسٹال کریں، پھر ComfyUI دوبارہ شروع کریں۔

ریپوزٹری کی comfyui/ ڈائریکٹری میں ایکسٹینشن کا سورس کوڈ موجود ہے۔ دستی طور پر کاپی کرنے کی ضرورت نہیں۔ پروجیکٹ سے متعلق انسٹالیشن کی تفصیلات کے لیے ComfyUI سیٹ اپ گائیڈ دیکھیں۔

کارکردگی اور آپٹمائزیشن کی تجاویز

جنریشن کا وقت ماڈل خاندان، ریزولوشن، GPU اور آف لوڈنگ حکمت عملی پر بہت زیادہ منحصر ہوتا ہے۔ پروجیکٹ کے بینچ مارکس وارم اپ کے بعد پانچ سیکنڈ کے کلپ کے لیے فعال کام کا وقت ناپتے ہیں؛ وزن لوڈ کرنے اور MP4 انکوڈنگ کو شامل نہیں کیا جاتا۔

دستاویزی ہارڈویئر کنفیگریشنز RTX PRO 6000، A100 80 GB اور H100 80 GB سسٹمز پر ماڈیول آف لوڈ استعمال کرتی ہیں۔ صارفین کے لیے دستیاب کارڈز بلاک آف لوڈ استعمال کرتے ہیں۔

Attention کی implementation بھی GPU کے لحاظ سے مختلف ہوتی ہے۔ RTX 4090، RTX 5060 Ti، RTX 5080، RTX 5090، RTX PRO 6000، اور A100 80 GB سسٹمز بصری self-attention کے لیے SageAttention2++ استعمال کرتے ہیں۔ H100 سسٹمز FlashAttention 3 استعمال کرتے ہیں۔

بینچ مارک کے نتائج کی تشریح

رپورٹ کیے گئے اوقات غیر distilled ماڈل استعمال کرتے ہوئے پانچ سیکنڈ کے کلپ کے لیے سیکنڈز میں ہیں۔ درج کردہ configurations میں Lite SD، Lite HD، Lite Full HD، Pro SD، Pro HD، اور Pro Full HD شامل ہیں۔ عمومی طور پر Lite configurations کو Pro configurations کے مقابلے میں کم وقت درکار ہوتا ہے، جبکہ اسی hardware پر Full HD generation کے لیے SD یا HD generation کے مقابلے میں زیادہ وقت درکار ہوتا ہے۔

تیز ترین مقامی تجربات کے لیے Lite یا distilled checkpoint اور مناسب device preset سے آغاز کریں۔ جب اضافی model capacity یا resolution آپ کے نتیجے کے لیے اہم ہو تو Pro یا Full HD configurations استعمال کریں۔

عملی workflow

  1. تصدیق کریں کہ آپ کے سسٹم میں NVIDIA GPU اور Python 3.13 یا 3.14 موجود ہے۔
  2. uv اور just انسٹال کریں۔
  3. repository clone کریں اور just setup چلائیں۔
  4. just download pro-distill یا کسی دوسرے supported catalog name کے ذریعے checkpoint ڈاؤن لوڈ کریں۔
  5. وضاحتی prompt کے ساتھ just generate چلائیں۔
  6. timestamped output directory میں تیار کردہ MP4 تلاش کریں۔
  7. جب کسی run کا معائنہ کرنا ہو تو expanded_prompt.txt، launch.json، logs، اور profiles کا جائزہ لیں۔
  8. جب آپ کے workflow کو مختلف hardware settings یا node-based control درکار ہو تو device preset یا ComfyUI پر منتقل ہوں۔

نتیجہ

Kandinsky 6.0 مقامی text-to-audio-video اور image-to-audio-video generation فراہم کرتا ہے، جس میں synchronized audio، lip-sync support، اور optional super-resolution شامل ہیں۔ آسان ترین طریقہ یہ ہے کہ just setup کے ذریعے dependencies انسٹال کریں، checkpoint ڈاؤن لوڈ کریں، اور just generate کے ساتھ prompt چلائیں۔ مزید control کے لیے device presets استعمال کریں، تیار کردہ run files کا معائنہ کریں، یا ComfyUI Manager کے ذریعے Kandinsky 6.0 extensions انسٹال کریں۔

مزید معلومات کے لیے KandinskyLab ویب سائٹ، Diffusers documentation، یا Hugging Face demo ملاحظہ کریں۔