شرح Kandinsky 6.0: إنشاء فيديو وصوت متزامنين بالذكاء الاصطناعي

Kandinsky 6.0 هي عائلة ديال موديلات الانتشار لتوليد النص والصوت والفيديو بشكل متزامن. Kandinsky 6.0 Video Lite فيها 3 مليار بارامتر، بينما Kandinsky 6.0 Video Pro فيها 29 مليار بارامتر. بجوج الموديلات يقدرو ينشئو مقاطع مدتها خمس ثواني بصوت متزامن بتردد 44 kHz، بما فيه مزامنة حركة الشفاه، فوضعي النص إلى صوت وفيديو والصورة إلى صوت وفيديو.

موديل إضافي ديال الدقة الفائقة يقدر يرفع دقة الإخراج حتى Full HD، أي 1920×1080. فهاد الشرح، غادي تثبّت المشروع، وتنزّل checkpoint، وتنشئ أول مقطع ديالك، وتختار إعداد مسبق للجهاز، وتراجع طرق إضافية لتشغيل Kandinsky 6.0.

شنو كيوفّر Kandinsky 6.0

Kandinsky 6.0 مصمّم للتوليد متعدد الوسائط بشكل متزامن، وماشي غير لتركيب فيديو صامت. الموديلات ديالو كتولّد الفيديو والصوت مع بعضياتهم، وكتدعم سير العمل المعتمد على النص والصورة.

• توليد الفيديو والصوت: أنشئ مقاطع مدتها خمس ثواني بصوت متزامن بتردد 44 kHz.
• مزامنة حركة الشفاه: المحتوى المولّد يقدر يتضمن حركات شفاه متزامنة.
• جوج ديال أحجام الموديلات: اختار بين عائلة Video Lite بـ3B بارامتر وعائلة Video Pro بـ29B بارامتر.
• جوج ديال أنماط الإدخال: استعمل التوليد من النص إلى صوت وفيديو أو من الصورة إلى صوت وفيديو.
• الدقة الفائقة: استعمل موديل الدقة الفائقة الإضافي باش ترفع دقة الإخراج حتى Full HD.

المتطلبات

سير العمل المحلي ديال البداية السريعة كيحتاج GPU من NVIDIA وPython 3.13 أو 3.14. وغادي تحتاج حتى uv وjust.

أمر الإعداد كيكتاشف الـGPU وكيثبّت نسخة مناسبة من PyTorch. وحدات Hopper، بما فيها H100 وH200، كتستعمل PyTorch لـCUDA 13.0 مع FlashAttention 3. وحدات Ampere وAda ووحدات Blackwell الموجهة للمستهلكين كتستعمل PyTorch لـCUDA 13.0 وSageAttention 2.2.0.

إلا كنت كتستعمل GPU من نوع Ampere أو Ada أو Blackwell موجه للمستهلكين، خاص nvcc يكون متاح فـPATH ديالك. الإعداد كيتوقع أن CUDA_HOME تكون مضبوطة افتراضياً على /usr/local/cuda.

ثبّت Kandinsky 6.0

1. نسخ المستودع

نسخ المستودع ودخل لمجلد المشروع:

git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup

الأمر just setup كيقرا الـGPU ديالك وكيثبّت واحد من إعدادات PyTorch وattention المدعومة.

2. نزّل موديل

نزّل checkpoint المجرّد ديال Pro بهاد الأمر:

just download pro-distill

فأول تشغيل، المشروع كينزّل Kandinsky-6.0-Pro-distill-5s من Hugging Face. افتراضياً، أوزان الموديل كتتخزن فـ~/.cache/kandinsky/weights.

تقدر تبدّل هاد الموقع الأساسي باستعمال متغير البيئة KANDINSKY_HOME. إلا كان مضبوط، الأوزان كتتخزن فـ$KANDINSKY_HOME/weights.

أنشئ أول فيديو ديالك

من بعد الإعداد وتنزيل الموديل، أنشئ مقطع من prompt نصي:

just generate "a cat on a mat"

ملف MP4 الناتج كيتكتب فمجلد ديال الإخراج فيه الطابع الزمني:

$KANDINSKY_HOME/outputs/generate_<YYYY-MM-DDTHH-MM-SS>/generations/output.mp4

إلا ما كانتش KANDINSKY_HOME مضبوطة، المشروع كيستعمل ~/.cache/kandinsky كمجلد رئيسي افتراضي. نفس مجلد التوليد فيه حتى الـprompt الموسّع فـexpanded_prompt.txt، وإعدادات التشغيل فـlaunch.json، ومجلدا logs/ وprofiles/.

أمر التوليد كينزّل checkpoint المحدد فالإعدادات إلا ما كانش متوفر من قبل محلياً.

اختار إعداد GPU مسبق

إلا كان الـGPU ديالك كيحتاج إعداد مختلف، مرّر إعداد الجهاز باستعمال --config. مثلاً:

just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4

الإعدادات المسبقة ديال الأجهزة مخزنة فـkandinsky/configs/devices/. اختار الإعداد اللي كيناسب العتاد وحجم العمل ديالك.

أسماء الموديلات المتاحة فالفهرس

وثائق البداية السريعة كتسرد أسماء الموديلات التالية:

• pro
• pro-pretrain
• lite
• lite-distill
• lite-pretrain

المثال الافتراضي ديال أول تشغيل كيستعمل pro-distill، واللي كينزّل checkpoint المجرّد ديال Pro بمدة خمس ثواني.

استعمل Kandinsky 6.0 مع ComfyUI

Kandinsky 6.0 كيدعم حتى ComfyUI. ثبّت kandinsky6 وkandinsky6-sr من خلال ComfyUI Manager، ومن بعد عاود شغّل ComfyUI.

مجلد comfyui/ فالمستودع فيه الكود المصدري ديال الإضافة. ما كايناش حاجة للنسخ اليدوي. بالنسبة لتفاصيل التثبيت الخاصة بالمشروع، راجع دليل إعداد ComfyUI.

نصائح الأداء والتحسين

مدة التوليد كتتأثر بزاف بعائلة الموديل، والدقة، والـGPU، واستراتيجية تفريغ الذاكرة. المعايير الموثقة كتحسب وقت العمل ديال مقطع مدته خمس ثواني من بعد مرحلة الإحماء؛ تحميل الأوزان وترميز MP4 ما داخلينش فالحساب.

إعدادات العتاد الموثقة كتستعمل تفريغ الوحدات على أنظمة RTX PRO 6000 وA100 80 GB وH100 80 GB. البطاقات الموجهة للمستهلكين كتستعمل تفريغ الكتل.

الانتباه حتى هو كيتبدل حسب الـGPU. الأنظمة اللي فيها RTX 4090 وRTX 5060 Ti وRTX 5080 وRTX 5090 وRTX PRO 6000 وA100 80 GB كتستعمل SageAttention2++ للانتباه البصري الذاتي. الأنظمة اللي فيها H100 كتستعمل FlashAttention 3.

كيفاش تفسّر نتائج الاختبارات

الأوقات المبيّنة محسوبة بالثواني لمقطع مدتو خمس ثواني باستعمال الموديل اللي ما تدربش بالتقطير. الإعدادات المذكورة كتشمل Lite SD وLite HD وLite Full HD وPro SD وPro HD وPro Full HD. بصفة عامة، إعدادات Lite كتحتاج وقت أقل من إعدادات Pro، بينما توليد Full HD كيتطلب وقت أكثر من توليد SD ولا HD فوق نفس العتاد.

باش تدير أسرع التجارب محلياً، بْدا بـcheckpoint ديال Lite ولا distilled وبـpreset مناسب للجهاز. استعمل إعدادات Pro ولا Full HD ملي كتكون سعة الموديل الإضافية ولا الدقة مهمة فالنتيجة ديالك.

طريقة عملية للخدمة

1. تأكد بلي النظام ديالك فيه GPU من NVIDIA وPython 3.13 ولا 3.14.
2. ثبّت uv وjust.
3. دير clone للـrepository وشغّل just setup.
4. حمّل checkpoint باستعمال just download pro-distill ولا شي اسم آخر مدعوم من الكاتالوغ.
5. شغّل just generate مع prompt وصفي.
6. قلّب على ملف MP4 المولّد فمجلد الإخراج اللي فيه timestamp.
7. راجع expanded_prompt.txt وlaunch.json والـlogs والـprofiles ملي تحتاج تفحص شي تشغيل.
8. بدّل لـpreset ديال الجهاز ولا لـComfyUI ملي كتحتاج إعدادات مختلفة للعتاد ولا تحكم مبني على nodes.

الخلاصة

Kandinsky 6.0 كيوفّر توليد محلي من النص للصوت والفيديو ومن الصورة للصوت والفيديو، مع صوت متزامن ودعم لمزامنة حركة الشفاه وخيار رفع الدقة. أسهل طريقة هي تثبّت التبعيات باستعمال just setup، تحمّل checkpoint، وتشغّل prompt بـjust generate. إلا بغيتي تحكم أكثر، استعمل presets ديال الجهاز، وفحص ملفات التشغيل المولّدة، ولا ثبّت إضافات Kandinsky 6.0 عن طريق ComfyUI Manager.

لمزيد من المعلومات، زُر موقع KandinskyLab، ولا وثائق Diffusers، ولا التجربة ديال Hugging Face.