DuoMatching آپریشن میں

DuoMatching ہانگ کانگ چینی یونیورسٹی کی MMLab اور بائٹ ڈانس کی مشترکہ طور پر تیار کردہ کم مراحل والی ویڈیو جنریشن ڈسٹلیشن فریم ورک ہے۔ ویڈیو ٹیچر زمانی ہم آہنگی کو یقینی بناتے ہوئے، DuoMatching سنگل فریم کے بصری معیار اور معنوی ہم آہنگی کی نگرانی کے لیے ایک منجمد امیج ماڈل شامل کرتا ہے۔ یہ LatentBridge کے ذریعے latent اسپیسز کو جوڑتا ہے اور LVS کے ذریعے اہم نگرانی والے فریم منتخب کرتا ہے، جس سے تصویر کی تفصیلات اور پرامپٹ کی پیروی بہتر ہوتی ہے۔ DuoMatching推 inference کے اضافی اخراجات میں اضافہ نہیں کرتا، اور 2 مراحل میں جنریشن کا VBench مجموعی اسکور 83.53 تک پہنچتا ہے۔

سنگل فریم کے معیار میں بہتری: کم مراحل والی ویڈیو جنریشن میں بالوں، ساخت اور مواد جیسی تفصیلات کے دھندلا ہونے یا ضائع ہونے کے مسائل کو بہتر بناتا ہے۔
معنوی ہم آہنگی میں اضافہ: پرامپٹس پر ماڈل کی پابندی کی صلاحیت بڑھاتا ہے اور اشیا کے غائب ہونے، رنگوں کی غلطی جیسے مسائل کم کرتا ہے۔
زمانی کارکردگی برقرار رکھنا: سنگل فریم کے معیار کو بہتر بناتے ہوئے ویڈیو کی فریم بہ فریم ہم آہنگی اور حرکت کی صلاحیت کو بڑی حد تک برقرار رکھتا ہے۔
کم مراحل والی جنریشن کی معاونت: 2، 4 اور دیگر کم تاخیر والی ویڈیو جنریشن کے لیے استعمال کیا جا سکتا ہے، جو حقیقی وقت یا تعاملی ایپلی کیشنز کی ضروریات پوری کرتا ہے۔
推 inference کے اضافی اخراجات نہیں: امیج ٹیچر صرف تربیت میں شامل ہوتا ہے، تعینات شدہ اسٹوڈنٹ ماڈل کو امیج ماڈل چلانے کی اضافی ضرورت نہیں ہوتی۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
مشترکہ اور حاشیائی تقسیم کی دوہری میچنگ: روایتی مشترکہ DMD کے علاوہ DuoMatching حاشیائی DMD شامل کرتا ہے: ویڈیو ٹیچر پوری ویڈیو کی مشترکہ تقسیم کو میچ کرنے کا ذمہ دار ہوتا ہے، جس سے زمانی ہم آہنگی اور حرکت کا معیار برقرار رہتا ہے؛ منجمد امیج ٹیچر سیمپل کیے گئے فریموں کی حاشیائی تقسیم کو میچ کرتا ہے، جس سے سنگل فریم کا معیار اور معنوی ہم آہنگی بہتر ہوتی ہے۔ دونوں نقصانات مل کر اسٹوڈنٹ ماڈل کو تربیت دیتے ہیں، اور حاشیائی نقصان کا ڈیفالٹ وزن 0.4 ہے۔
LatentBridge ویڈیو اور امیج latent اسپیسز کو جوڑتا ہے: چونکہ ویڈیو VAE اور امیج VAE کے latent ڈھانچے مطابقت نہیں رکھتے، DuoMatching تقریباً 1075万 پیرامیٹرز پر مشتمل LatentBridge استعمال کرتا ہے، جو ویڈیو latent سلائسز کو براہ راست امیج ٹیچر کی latent اسپیس میں میپ کرتا ہے۔ یہ ماڈیول L1 تعمیر نو کے نقصان کے ذریعے پہلے سے تربیت پاتا ہے، جس سے پہلے RGB میں ڈی کوڈ اور پھر دوبارہ انکوڈ کرنے سے پیدا ہونے والے زیادہ ویڈیو میموری اخراجات سے بچا جا سکتا ہے اور امیج ٹیچر ویڈیو اسٹوڈنٹ کی مؤثر نگرانی کر سکتا ہے۔
LVS کے ذریعے فریم سطح کی نگرانی کے سیمپلنگ کو بہتر بنانا: Latent Variation Sampling ملحقہ latent سلائسز کی تبدیلی کی شدت کے مطابق ویڈیو حصوں کی تقسیم کرتا ہے، پھر ہر حصے سے نگرانی کے فریم منتخب کرتا ہے۔ ڈیفالٹ طور پر ہر ویڈیو سے 4 latent سلائسز سیمپل کیے جاتے ہیں۔ بے ترتیب سیمپلنگ کے مقابلے میں یہ نگرانی کو ساکن مناظر پر مرکوز ہونے سے کم کرتا ہے اور محدود فریم سطح کے نگرانی بجٹ کو زیادہ تبدیلی والے مواد پر مختص کرتا ہے۔

چلانے کا ماحول تیار کریں: CUDA کو سپورٹ کرنے والا NVIDIA گرافکس کارڈ تیار کریں اور Python 3.10 کا ماحول ترتیب دیں۔
پروجیکٹ ڈاؤن لوڈ اور انسٹال کریں: DuoMatching ریپوزٹری کلون کریں اور PyTorch، FlashAttention اور پروجیکٹ کی مطلوبہ dependencies انسٹال کریں۔
ماڈل فائلیں ڈاؤن لوڈ کریں: Wan2.1-T2V-1.3B کے بنیادی اجزا اور DuoMatching کے سرکاری weights حاصل کریں اور انہیں ریپوزٹری کی ڈیفالٹ ڈائریکٹری میں رکھیں۔
پرامپٹس تیار کریں: ایک نئی UTF-8 ٹیکسٹ فائل بنائیں اور ہر سطر میں ایک پرامپٹ درج کریں، یا براہ راست سرکاری prompts/demos.txt استعمال کریں۔
ویڈیو جنریشن شروع کریں: inference.py چلائیں اور کمانڈ میں inference configuration، model weights، prompt file اور output directory متعین کریں۔
جنریشن کے نتائج دیکھیں: output directory میں ویڈیو حاصل کریں۔ سرکاری مثال ڈیفالٹ طور پر 21 فریم بناتی ہے، جبکہ آؤٹ پٹ فریموں کی تعداد اور random seed مقرر کیے جا سکتے ہیں۔

سنگل فریم کے معیار میں نمایاں بہتری: آزاد فریم سطح کی نگرانی کے ذریعے کم مراحل والی جنریشن میں بالوں، ساخت اور مواد جیسی تفصیلات کے ضائع ہونے کے مسئلے کو بہتر بناتا ہے۔
پرامپٹ کی زیادہ درست پیروی: امیج ماڈل کے معنوی پیشگی علم کی مدد سے اشیا کے غائب ہونے، رنگوں کی غلطی اور کمپوزیشن کے انحراف کو کم کرتا ہے۔
推 inference کے اضافی اخراجات نہیں: امیج ٹیچر صرف تربیت میں شامل ہوتا ہے، تعینات شدہ اسٹوڈنٹ ماڈل کو اضافی inference مراحل یا حساب کی ضرورت نہیں ہوتی۔
معیار اور حرکت کی صلاحیت میں توازن: بصری معیار اور معنوی ہم آہنگی بہتر بناتے ہوئے ویڈیو کی زمانی ہم آہنگی اور حرکتی کارکردگی کو بڑی حد تک برقرار رکھتا ہے۔
امیج ماڈل کی پیش رفت سے مسلسل فائدہ: زیادہ طاقتور امیج ٹیچر تبدیل کرنے سے اسٹوڈنٹ ماڈل میں مزید بہتری آ سکتی ہے، تاہم عموماً متعلقہ LatentBridge کو دوبارہ تربیت دینا ضروری ہوتا ہے۔

پروجیکٹ کی سرکاری ویب سائٹ：https://johnzhan2023.github.io/DuoMatching/
GitHub ریپوزٹری：https://github.com/JohnZhan2023/DuoMatching
HuggingFace ماڈل ریپوزٹری：https://huggingface.co/JohnZhan/DuoMatching
arXiv تکنیکی مقالہ：https://arxiv.org/pdf/2610.03543

حقیقی وقت کی تعامل اور لائیو اسٹریمنگ جنریشن: کم مراحل اور کم تاخیر کی خصوصیات کے ذریعے ڈیجیٹل انسانوں، ورچوئل میزبانوں اور تعاملی لائیو اسٹریمنگ کے لیے حرکات اور تاثرات کی ویڈیوز تیزی سے تیار کرتا ہے۔
اشتہارات اور ای کامرس مواد کی تیاری: مصنوعات کے مواد، رنگوں اور مخصوص اشیا کی جنریشن کی درستگی بہتر بناتا ہے اور اشتہاری مناظر اور تخلیقی پرامپٹس کے درمیان عدم مطابقت کم کرتا ہے۔
مختصر ڈراموں اور اینیمیشن کی پیشگی تیاری: اسٹوری بورڈز اور متحرک نمونے تیزی سے تیار کرتا ہے، جس سے تخلیق کار کرداروں کی حرکات، کیمرہ ڈیزائن اور بصری اثرات کی کم لاگت میں جانچ کر سکتے ہیں۔
گیمز اور ورچوئل دنیا کے مواد کی جنریشن: گیم کٹ سینز، کرداروں کی حرکات اور ورچوئل مناظر کے لیے تیز رفتار ویڈیو prototypes فراہم کرتا ہے اور تعاملی مواد کی جنریشن کی کارکردگی بہتر بناتا ہے۔
زیادہ ہم وقتی ویڈیو جنریشن سروسز: اضافی inference اخراجات میں اضافہ کیے بغیر کم مراحل والے ماڈل کے بصری معیار کو بہتر بناتا ہے، اس لیے ان پلیٹ فارمز کے لیے موزوں ہے جہاں جنریشن کی رفتار، سروس لاگت اور آؤٹ پٹ معیار میں توازن ضروری ہو۔