Kandinsky 6.0 টিউটোরিয়াল: AI দিয়ে সমন্বিত ভিডিও ও অডিও তৈরি করুন

Kandinsky 6.0 হলো সিঙ্ক্রোনাইজড টেক্সট-টু-অডিও-ভিডিও জেনারেশনের জন্য ডিফিউশন মডেলের একটি পরিবার। Kandinsky 6.0 Video Lite-এ 3 বিলিয়ন প্যারামিটার, আর Kandinsky 6.0 Video Pro-তে 29 বিলিয়ন প্যারামিটার রয়েছে। উভয় মডেলই সিঙ্ক্রোনাইজড 44 kHz অডিওসহ পাঁচ সেকেন্ডের ক্লিপ তৈরি করতে পারে, যার মধ্যে লিপ-সিঙ্কও রয়েছে। এগুলো টেক্সট-টু-অডিও-ভিডিও এবং ইমেজ-টু-অডিও-ভিডিও—উভয় মোড সমর্থন করে।

একটি প্লাগইন সুপার-রেজোলিউশন মডেল আউটপুটের রেজোলিউশন Full HD বা 1920×1080-এ বাড়াতে পারে। এই টিউটোরিয়ালে আপনি প্রজেক্ট ইনস্টল করবেন, একটি চেকপয়েন্ট ডাউনলোড করবেন, আপনার প্রথম ক্লিপ তৈরি করবেন, একটি ডিভাইস প্রিসেট বেছে নেবেন এবং Kandinsky 6.0 চালানোর অতিরিক্ত পদ্ধতিগুলো দেখবেন।

Kandinsky 6.0 কী সুবিধা দেয়

Kandinsky 6.0 শুধু নীরব ভিডিও সংশ্লেষণের জন্য নয়, বরং সিঙ্ক্রোনাইজড মাল্টিমোডাল জেনারেশনের জন্য তৈরি। এর মডেলগুলো একইসঙ্গে ভিডিও ও অডিও তৈরি করে এবং টেক্সট-নির্ভর ও ইমেজ-নির্ভর—উভয় ওয়ার্কফ্লো সমর্থন করে।

• ভিডিও ও অডিও জেনারেশন: সিঙ্ক্রোনাইজড 44 kHz অডিওসহ পাঁচ সেকেন্ডের ক্লিপ তৈরি করুন।
• লিপ-সিঙ্ক: তৈরি করা কনটেন্টে সিঙ্ক্রোনাইজড ঠোঁটের নড়াচড়া থাকতে পারে।
• দুটি মডেল সাইজ: 3B-প্যারামিটারের Video Lite পরিবার এবং 29B-প্যারামিটারের Video Pro পরিবারের মধ্যে বেছে নিন।
• দুটি ইনপুট মোড: টেক্সট-টু-অডিও-ভিডিও অথবা ইমেজ-টু-অডিও-ভিডিও জেনারেশন ব্যবহার করুন।
• সুপার-রেজোলিউশন: আউটপুটের রেজোলিউশন Full HD-তে বাড়াতে প্লাগইন সুপার-রেজোলিউশন মডেল ব্যবহার করুন।

প্রয়োজনীয়তা

স্থানীয় কুইক-স্টার্ট ওয়ার্কফ্লোর জন্য একটি NVIDIA GPU এবং Python 3.13 বা 3.14 প্রয়োজন। আপনার uv এবং just-ও লাগবে।

সেটআপ কমান্ডটি GPU শনাক্ত করে উপযুক্ত PyTorch বিল্ড ইনস্টল করে। H100 ও H200 ডিভাইসসহ Hopper GPU-তে FlashAttention 3 সহ CUDA 13.0-এর জন্য PyTorch ব্যবহার করা হয়। Ampere, Ada এবং কনজিউমার Blackwell GPU-তে CUDA 13.0-এর জন্য PyTorch এবং SageAttention 2.2.0 ব্যবহার করা হয়।

আপনি যদি Ampere, Ada অথবা কনজিউমার Blackwell GPU ব্যবহার করেন, তাহলে আপনার PATH-এ nvcc উপলভ্য থাকতে হবে। সেটআপে CUDA_HOME-এর ডিফল্ট মান /usr/local/cuda প্রত্যাশা করা হয়।

Kandinsky 6.0 ইনস্টল করুন

1. রিপোজিটরি ক্লোন করুন

রিপোজিটরি ক্লোন করে প্রজেক্ট ডিরেক্টরিতে প্রবেশ করুন:

git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup

just setup কমান্ডটি আপনার GPU শনাক্ত করে এবং সমর্থিত PyTorch ও attention কনফিগারেশনের একটি ইনস্টল করে।

2. একটি মডেল ডাউনলোড করুন

Pro distilled চেকপয়েন্ট ডাউনলোড করতে চালান:

just download pro-distill

প্রথমবার চালানোর সময় প্রজেক্টটি Hugging Face থেকে Kandinsky-6.0-Pro-distill-5s ডাউনলোড করে। ডিফল্টভাবে মডেলের ওজন ~/.cache/kandinsky/weights-এর অধীনে সংরক্ষিত হয়।

KANDINSKY_HOME এনভায়রনমেন্ট ভেরিয়েবল ব্যবহার করে এই বেস লোকেশন পরিবর্তন করতে পারেন। এটি সেট করা থাকলে ওজন $KANDINSKY_HOME/weights-এ সংরক্ষিত হয়।

আপনার প্রথম ভিডিও তৈরি করুন

সেটআপ ও মডেল ডাউনলোডের পর একটি টেক্সট প্রম্পট থেকে ক্লিপ তৈরি করুন:

just generate "a cat on a mat"

ফলস্বরূপ MP4 একটি টাইমস্ট্যাম্পযুক্ত আউটপুট ডিরেক্টরিতে লেখা হয়:

$KANDINSKY_HOME/outputs/generate_<YYYY-MM-DDTHH-MM-SS>/generations/output.mp4

KANDINSKY_HOME সেট করা না থাকলে প্রজেক্টটি ডিফল্ট হোম ডিরেক্টরি হিসেবে ~/.cache/kandinsky ব্যবহার করে। একই জেনারেশন ডিরেক্টরিতে expanded_prompt.txt-এ সম্প্রসারিত প্রম্পট, launch.json-এ রান কনফিগারেশন এবং logs/ ও profiles/ ডিরেক্টরিও থাকে।

কনফিগারেশনে উল্লেখ করা চেকপয়েন্টটি স্থানীয়ভাবে উপলভ্য না থাকলে generate কমান্ড সেটি ডাউনলোড করে।

একটি GPU প্রিসেট বেছে নিন

আপনার GPU-র জন্য ভিন্ন কনফিগারেশন প্রয়োজন হলে --config দিয়ে একটি ডিভাইস প্রিসেট দিন। উদাহরণ:

just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4

ডিভাইস প্রিসেটগুলো kandinsky/configs/devices/-এ সংরক্ষিত থাকে। আপনার হার্ডওয়্যার ও কাজের ধরন অনুযায়ী উপযুক্ত প্রিসেট বেছে নিন।

উপলভ্য মডেল ক্যাটালগের নাম

কুইক-স্টার্ট ডকুমেন্টেশনে এই মডেল ক্যাটালগের নামগুলো দেওয়া আছে:

• pro
• pro-pretrain
• lite
• lite-distill
• lite-pretrain

প্রথমবারের ডিফল্ট উদাহরণে pro-distill ব্যবহার করা হয়, যা Pro distilled পাঁচ সেকেন্ডের চেকপয়েন্ট ডাউনলোড করে।

ComfyUI-এর সঙ্গে Kandinsky 6.0 ব্যবহার করুন

Kandinsky 6.0 ComfyUI-ও সমর্থন করে। ComfyUI Manager-এর মাধ্যমে kandinsky6 এবং kandinsky6-sr ইনস্টল করে ComfyUI পুনরায় চালু করুন।

রিপোজিটরির comfyui/ ডিরেক্টরিতে এক্সটেনশনের সোর্স কোড রয়েছে। ম্যানুয়ালি কপি করার প্রয়োজন নেই। প্রজেক্ট-নির্দিষ্ট ইনস্টলেশনের বিস্তারিত জানতে ComfyUI সেটআপ গাইড দেখুন।

পারফরম্যান্স ও অপ্টিমাইজেশনের টিপস

জেনারেশনের সময় মডেল পরিবার, রেজোলিউশন, GPU এবং অফলোডিং কৌশলের ওপর অনেকটাই নির্ভর করে। প্রজেক্টের বেঞ্চমার্কগুলো ওয়ার্মআপের পর পাঁচ সেকেন্ডের ক্লিপ তৈরি করতে কার্যকর সময় পরিমাপ করে; ওজন লোড করা এবং MP4 এনকোডিং এতে অন্তর্ভুক্ত নয়।

নথিভুক্ত হার্ডওয়্যার কনফিগারেশনগুলো RTX PRO 6000, A100 80 GB এবং H100 80 GB সিস্টেমে মডিউল অফলোড ব্যবহার করে। কনজিউমার কার্ডগুলো ব্লক অফলোড ব্যবহার করে।

অ্যাটেনশন বাস্তবায়ন GPU-এর ওপরও নির্ভর করে। RTX 4090, RTX 5060 Ti, RTX 5080, RTX 5090, RTX PRO 6000 এবং A100 80 GB সিস্টেম ভিজ্যুয়াল self-attention-এর জন্য SageAttention2++ ব্যবহার করে। H100 সিস্টেম FlashAttention 3 ব্যবহার করে।

বেঞ্চমার্কের ফলাফল ব্যাখ্যা করুন

প্রতিবেদিত সময়গুলো নন-ডিস্টিলড মডেল ব্যবহার করে পাঁচ সেকেন্ডের ক্লিপের জন্য সেকেন্ডে দেওয়া হয়েছে। তালিকাভুক্ত কনফিগারেশনগুলোর মধ্যে রয়েছে Lite SD, Lite HD, Lite Full HD, Pro SD, Pro HD এবং Pro Full HD। সাধারণভাবে, Lite কনফিগারেশনে Pro কনফিগারেশনের তুলনায় কম সময় লাগে, আর একই হার্ডওয়্যারে Full HD তৈরি করতে SD বা HD তৈরির তুলনায় বেশি সময় লাগে।

দ্রুততম স্থানীয় পরীক্ষার জন্য একটি Lite বা distilled checkpoint এবং উপযুক্ত ডিভাইস preset দিয়ে শুরু করুন। আপনার ফলাফলের জন্য অতিরিক্ত মডেল ক্ষমতা বা রেজোলিউশন গুরুত্বপূর্ণ হলে Pro বা Full HD কনফিগারেশন ব্যবহার করুন।

ব্যবহারিক কর্মপ্রবাহ

1. নিশ্চিত করুন যে আপনার সিস্টেমে একটি NVIDIA GPU এবং Python 3.13 বা 3.14 রয়েছে।
2. uv এবং just ইনস্টল করুন।
3. রিপোজিটরি ক্লোন করে just setup চালান।
4. just download pro-distill অথবা সমর্থিত অন্য কোনো ক্যাটালগ নাম ব্যবহার করে একটি checkpoint ডাউনলোড করুন।
5. একটি বর্ণনামূলক prompt দিয়ে just generate চালান।
6. টাইমস্ট্যাম্পযুক্ত output ডিরেক্টরিতে তৈরি MP4 খুঁজে নিন।
7. কোনো রান পর্যালোচনা করার প্রয়োজন হলে expanded_prompt.txt, launch.json, logs এবং profiles দেখুন।
8. আপনার কর্মপ্রবাহে ভিন্ন হার্ডওয়্যার সেটিংস বা node-ভিত্তিক নিয়ন্ত্রণ প্রয়োজন হলে একটি device preset অথবা ComfyUI ব্যবহার করুন।

উপসংহার

Kandinsky 6.0 সিঙ্ক্রোনাইজড অডিও, lip-sync সমর্থন এবং ঐচ্ছিক super-resolution-সহ স্থানীয় text-to-audio-video ও image-to-audio-video তৈরি করার সুবিধা দেয়। সবচেয়ে সহজ পদ্ধতি হলো just setup দিয়ে নির্ভরতাগুলো ইনস্টল করা, একটি checkpoint ডাউনলোড করা এবং just generate দিয়ে একটি prompt চালানো। আরও নিয়ন্ত্রণের জন্য device preset ব্যবহার করুন, তৈরি হওয়া run ফাইলগুলো পর্যালোচনা করুন, অথবা ComfyUI Manager-এর মাধ্যমে Kandinsky 6.0 extensions ইনস্টল করুন।

আরও তথ্যের জন্য KandinskyLab ওয়েবসাইট, Diffusers documentation, অথবা Hugging Face demo দেখুন।