DuoMatching চালু আছে

DuoMatching হলো হংকং চাইনিজ ইউনিভার্সিটির MMLab এবং ByteDance-এর যৌথভাবে তৈরি স্বল্প-ধাপের ভিডিও জেনারেশন ডিস্টিলেশন ফ্রেমওয়ার্ক। ভিডিও শিক্ষক মডেল সময়গত সামঞ্জস্য নিশ্চিত করার পাশাপাশি, DuoMatching একটি হিমায়িত ইমেজ মডেল যুক্ত করে একক ফ্রেমের ভিজ্যুয়াল গুণমান ও সেমান্টিক সামঞ্জস্যের ওপর নজরদারি চালায়। এটি LatentBridge-এর মাধ্যমে ল্যাটেন্ট স্পেস সংযুক্ত করে এবং LVS ব্যবহার করে গুরুত্বপূর্ণ তত্ত্বাবধানকারী ফ্রেম নির্বাচন করে, ফলে ছবির সূক্ষ্মতা ও প্রম্পট অনুসরণ উন্নত হয়। DuoMatching অনুমানের ব্যয় বাড়ায় না; ২ ধাপে জেনারেশনের VBench মোট স্কোর 83.53-এ পৌঁছায়।

একক ফ্রেমের গুণমান উন্নত করা: অল্প ধাপে ভিডিও তৈরির সময় চুল, টেক্সচার, উপাদান ইত্যাদির সূক্ষ্ম বিবরণ অস্পষ্ট বা হারিয়ে যাওয়ার সমস্যা কমায়।
শব্দার্থিক সামঞ্জস্য বৃদ্ধি: প্রম্পট অনুসরণে মডেলের সক্ষমতা বাড়ায় এবং বস্তু অনুপস্থিত থাকা, ভুল রং ইত্যাদি সমস্যা কমায়।
সময়ক্রমিক কর্মক্ষমতা বজায় রাখা: একক ফ্রেমের গুণমান উন্নত করার পাশাপাশি ভিডিওর ফ্রেম-পরবর্তী সামঞ্জস্য ও গতি তৈরির সক্ষমতা মূলত বজায় রাখে।
অল্প ধাপে তৈরির সুবিধা: 2 ধাপ, 4 ধাপ ইত্যাদির কম-বিলম্বের ভিডিও তৈরিতে ব্যবহার করা যায়, যা রিয়েল-টাইম বা ইন্টার‌্যাক্টিভ অ্যাপ্লিকেশনের চাহিদা পূরণ করে।
অনুমান ব্যয় বৃদ্ধি করে না: ইমেজ শিক্ষক কেবল প্রশিক্ষণে অংশ নেয়; স্থাপনের পর শিক্ষার্থী মডেলকে অতিরিক্ত ইমেজ মডেল চালানোর প্রয়োজন হয় না।

WeChat-এ অনুসরণ করে “开源” লিখে উত্তর দিন, AI ওপেন সোর্স প্রকল্পের গ্রুপে যোগ দিন
যৌথ ও প্রান্তিক—দ্বৈত বণ্টন ম্যাচিং: প্রচলিত যৌথ DMD-এর পাশাপাশি DuoMatching-এ প্রান্তিক DMD যুক্ত করা হয়েছে: ভিডিও শিক্ষক পুরো ভিডিওর যৌথ বণ্টন মেলানোর মাধ্যমে সময়ক্রম ও গতির মান বজায় রাখে; হিমায়িত ইমেজ শিক্ষক নমুনাকৃত ফ্রেমগুলোর প্রান্তিক বণ্টন মেলানোর মাধ্যমে একক ফ্রেমের ছবির মান ও সেমান্টিক সামঞ্জস্য উন্নত করে। দুটি ক্ষতি একসঙ্গে শিক্ষার্থী মডেলকে প্রশিক্ষণ দেয়, যেখানে প্রান্তিক ক্ষতির ডিফল্ট ওজন 0.4।
LatentBridge ভিডিও ও ইমেজের latent space সংযুক্ত করে: ভিডিও VAE ও ইমেজ VAE-এর latent কাঠামো অসামঞ্জস্যপূর্ণ হওয়ায়, DuoMatching প্রায় 1075万 প্যারামিটারের LatentBridge ব্যবহার করে ভিডিও latent স্লাইসগুলোকে সরাসরি ইমেজ শিক্ষকের latent space-এ ম্যাপ করে। মডিউলটি L1 পুনর্গঠন ক্ষতির মাধ্যমে প্রি-ট্রেন করা হয়। এতে প্রথমে RGB-তে ডিকোড করে পরে এনকোড করার কারণে সৃষ্ট উচ্চ GPU মেমরি খরচ এড়ানো যায় এবং ইমেজ শিক্ষক ভিডিও শিক্ষার্থীকে কার্যকরভাবে তত্ত্বাবধান করতে পারে।
LVS ফ্রেম-স্তরের তত্ত্বাবধানমূলক স্যাম্পলিং অপ্টিমাইজ করে: Latent Variation Sampling পার্শ্ববর্তী latent স্লাইসগুলোর পরিবর্তনের তীব্রতা অনুযায়ী ভিডিও অংশগুলো ভাগ করে, তারপর প্রতিটি অংশ থেকে তত্ত্বাবধানের ফ্রেম নির্বাচন করে। ডিফল্টভাবে প্রতিটি ভিডিও থেকে 4টি latent স্লাইস নমুনা নেওয়া হয়। এলোমেলো স্যাম্পলিংয়ের তুলনায় এটি স্থির দৃশ্যগুলোতে তত্ত্বাবধান কেন্দ্রীভূত হওয়ার সম্ভাবনা কমায় এবং সীমিত ফ্রেম-স্তরের তত্ত্বাবধান বাজেটকে বেশি পরিবর্তনশীল কনটেন্টে বরাদ্দ করে।

রানটাইম পরিবেশ প্রস্তুত করুন: CUDA সমর্থনকারী একটি NVIDIA GPU প্রস্তুত করুন এবং Python 3.10 পরিবেশ কনফিগার করুন।
প্রকল্প ডাউনলোড ও ইনস্টল করুন: DuoMatching রিপোজিটরি ক্লোন করুন এবং PyTorch, FlashAttention ও প্রকল্পের প্রয়োজনীয় নির্ভরতাগুলো ইনস্টল করুন।
মডেল ফাইল ডাউনলোড করুন: Wan2.1-T2V-1.3B-এর বেস কম্পোনেন্ট ও DuoMatching-এর অফিসিয়াল ওজন সংগ্রহ করে রিপোজিটরির ডিফল্ট ডিরেক্টরিতে রাখুন।
প্রম্পট প্রস্তুত করুন: একটি নতুন UTF-8 টেক্সট ফাইল তৈরি করে প্রতি লাইনে একটি করে প্রম্পট লিখুন। চাইলে অফিসিয়াল prompts/demos.txt সরাসরি ব্যবহার করতে পারেন।
ভিডিও জেনারেশন শুরু করুন: inference.py চালান এবং কমান্ডে ইনফারেন্স কনফিগারেশন, মডেলের ওজন, প্রম্পট ফাইল ও আউটপুট ডিরেক্টরি নির্দিষ্ট করুন।
জেনারেট করা ফলাফল দেখুন: আউটপুট ডিরেক্টরি থেকে ভিডিও সংগ্রহ করুন। অফিসিয়াল উদাহরণে ডিফল্টভাবে 21টি ফ্রেম তৈরি হয়; আউটপুট ফ্রেমের সংখ্যা ও র‍্যান্ডম সিড সেট করা যায়।

একক ফ্রেমের ছবির মানে উল্লেখযোগ্য উন্নতি: স্বতন্ত্র ফ্রেম-স্তরের তত্ত্বাবধানের মাধ্যমে অল্প ধাপে জেনারেশনে চুল, টেক্সচার ও উপাদানের মতো সূক্ষ্ম বিবরণ হারিয়ে যাওয়ার সমস্যা কমানো হয়।
প্রম্পট অনুসরণ আরও নির্ভুল: ইমেজ মডেলের সেমান্টিক পূর্বজ্ঞান কাজে লাগিয়ে বস্তু অনুপস্থিতি, রঙের ভুল এবং কম্পোজিশনের বিচ্যুতি কমানো হয়।
ইনফারেন্সের ব্যয় বাড়ে না: ইমেজ শিক্ষক কেবল প্রশিক্ষণে অংশ নেয়; স্থাপনার পর শিক্ষার্থী মডেলের অতিরিক্ত ইনফারেন্স ধাপ বা গণনার প্রয়োজন হয় না।
ছবির মান ও গতিশীলতার মধ্যে ভারসাম্য: ভিজ্যুয়াল মান এবং সেমান্টিক সামঞ্জস্য উন্নত করার পাশাপাশি ভিডিওর কালিক সামঞ্জস্য ও গতিশীলতার প্রকাশ প্রায় অক্ষুণ্ণ থাকে।
ইমেজ মডেলের অগ্রগতি ধারাবাহিকভাবে কাজে লাগানো যায়: আরও শক্তিশালী ইমেজ শিক্ষক ব্যবহার করলে শিক্ষার্থী মডেলের মান আরও উন্নত হতে পারে; সাধারণত এর জন্য সংশ্লিষ্ট LatentBridge পুনরায় প্রশিক্ষণ দিতে হয়।

প্রকল্পের অফিসিয়াল ওয়েবসাইট：https://johnzhan2023.github.io/DuoMatching/
GitHub রিপোজিটরি：https://github.com/JohnZhan2023/DuoMatching
HuggingFace মডেল রিপোজিটরি：https://huggingface.co/JohnZhan/DuoMatching
arXiv প্রযুক্তিগত গবেষণাপত্র：https://arxiv.org/pdf/2610.03543

রিয়েল-টাইম ইন্টারঅ্যাকশন ও লাইভস্ট্রিম তৈরি: কম ধাপ ও কম লেটেন্সির বৈশিষ্ট্য ব্যবহার করে ডিজিটাল মানুষ, ভার্চুয়াল উপস্থাপক এবং ইন্টারঅ্যাক্টিভ লাইভস্ট্রিমের জন্য দ্রুত অঙ্গভঙ্গি ও অভিব্যক্তির ভিডিও তৈরি করুন।
বিজ্ঞাপন ও ই-কমার্স কনটেন্ট তৈরি: পণ্যের উপাদান, রং এবং নির্দিষ্ট বস্তুর তৈরির নির্ভুলতা বাড়িয়ে বিজ্ঞাপনের দৃশ্য ও সৃজনশীল প্রম্পটের অসঙ্গতি কমান।
শর্ট ড্রামা ও অ্যানিমেশন প্রিভিজুয়ালাইজেশন: দ্রুত স্টোরিবোর্ড ও অ্যানিমেটেড নমুনা তৈরি করে নির্মাতাদের কম খরচে চরিত্রের অঙ্গভঙ্গি, শটের নকশা এবং ভিজ্যুয়াল ইফেক্ট যাচাই করতে সহায়তা করুন।
গেম ও ভার্চুয়াল বিশ্বের কনটেন্ট তৈরি: গেমের কাটসিন, চরিত্রের অঙ্গভঙ্গি এবং ভার্চুয়াল দৃশ্যের জন্য দ্রুত ভিডিও প্রোটোটাইপ তৈরি করে ইন্টারঅ্যাক্টিভ কনটেন্ট তৈরির দক্ষতা বাড়ান।
উচ্চ সমান্তরালতা-সম্পন্ন ভিডিও জেনারেশন পরিষেবা: অতিরিক্ত ইনফারেন্স খরচ না বাড়িয়ে কম-ধাপের মডেলের ছবির মান উন্নত করুন, যা এমন প্ল্যাটফর্মের জন্য উপযোগী যেখানে তৈরির গতি, পরিষেবার খরচ এবং আউটপুটের মানের মধ্যে ভারসাম্য প্রয়োজন।