InstructAV2AV – 智源 اور بیجنگ یونیورسٹی کا مشترکہ اوپن سورس آڈیو ویڈیو مشترکہ ایڈیٹنگ ماڈل آپریشن میں

InstructAV2AV بیجنگ اکیڈمی آف آرٹیفیشل انٹیلیجنس اور بیجنگ یونیورسٹی کی جانب سے مشترکہ طور پر پیش کیا گیا آڈیو ویڈیو مشترکہ ایڈیٹنگ ماڈل ہے۔ صارف صرف ایک قدرتی زبان کی ہدایت کے ذریعے اینڈ ٹو اینڈ جنریشن کے دوران ویڈیو کے مناظر اور متعلقہ آواز کو بیک وقت ایڈٹ کر سکتا ہے، اس کے لیے دستی ماسک یا مرحلہ وار پروسیسنگ کی ضرورت نہیں ہوتی۔ ماڈل مکالموں میں ترمیم، کرداروں کی تبدیلی، اشیا کا اضافہ اور حذف کرنے کی سہولت فراہم کرتا ہے، جبکہ پس منظر اور ماحول کی آوازوں کو برقرار رکھتے ہوئے آواز اور تصویر کی زمانی ہم آہنگی قائم رکھتا ہے۔

شناخت برقرار رکھتے ہوئے آواز میں ترمیم: کردار کی ظاہری شکل برقرار رکھتے ہوئے صرف اس کے بولنے والے مواد کو تبدیل کریں۔
آڈیو ویڈیو مثالوں کی تبدیلی: منظر میں موجود مخصوص کردار کو اس کی آواز اور مکالمے سمیت تبدیل کریں۔
مثال کا اضافہ: منظر میں نئی شے شامل کریں اور اس کے ساتھ ہم آہنگ آواز خودکار طور پر تیار کریں۔
مثال کا حذف: مخصوص شے اور آڈیو ٹریک میں موجود اس کی متعلقہ آواز حذف کریں۔
صفات کی مشترکہ ایڈیٹنگ: کردار کی ظاہری شکل، بولنے کا مواد اور آواز کا رنگ الگ الگ ترمیم کیے جا سکتے ہیں اور آزادانہ طور پر یکجا کیے جا سکتے ہیں۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
ماخذ مخفی متغیرات کا امتزاج: ماخذ ویڈیو اور ماخذ آڈیو کے مخفی متغیرات کو شور کے ساتھ چینل کے طول و عرض پر جوڑا جاتا ہے، تاکہ ماخذ مواد پورے ڈینوائزنگ عمل کے لیے ساختی شرط بن جائے۔ اس سے ماڈل پس منظر، غیر متعلقہ اشیا اور ماحول کی آوازوں کو برقرار رکھتا ہے اور ”ایک ہدف میں ترمیم کرنے کے لیے پوری دنیا کو دوبارہ تخلیق“ کرنے سے بچتا ہے۔
SIGA گیٹڈ اٹینشن: Source-Instruction Gated Attention ہر ٹوکن کو بیک وقت ماخذ خصوصیات اور ہدایتی خصوصیات کے ساتھ تعامل کرنے دیتا ہے۔ قابلِ تعلم نرم گیٹنگ ہر مقام پر یہ طے کرتی ہے کہ کتنا تبدیل کرنا اور کتنا برقرار رکھنا ہے، جس سے مواد برقرار رکھنے اور ہدایت پر عمل درآمد کے درمیان متحرک توازن حاصل ہوتا ہے۔
دو رخی تعاملاتی فن تعمیر: Ovi کے متقارن دو رخی ڈفیوژن Transformer پر مبنی اس نظام میں ویڈیو اور آڈیو شاخیں پہلے اپنی اپنی سیلف اٹینشن کے ذریعے ماڈلنگ کرتی ہیں، پھر دو طرفہ کراس موڈل اٹینشن کے ذریعے خصوصیات کا تبادلہ کرتی ہیں، تاکہ بصری حرکت اور صوتی واقعات ایک دوسرے کو محدود کریں اور ہم آہنگ رہیں۔
دو مرحلوں کی تربیت: کراس موڈل اٹینشن بند کر کے پہلے الگ الگ یک موڈل ایڈیٹنگ کی صلاحیت سیکھی جاتی ہے، پھر مکمل فن تعمیر بحال کر کے مشترکہ فائن ٹیوننگ کی جاتی ہے، تاکہ آواز اور تصویر کے درمیان باریک سطح کے مطابقتی تعلقات سیکھے جا سکیں۔
خودکار ڈیٹا پائپ لائن: مواد کی چھانٹی، ایڈیٹنگ اہداف کی ترکیب، پانچ جہتی خودکار جائزے اور انسانی جانچ کے تین مراحل کے ذریعے InsAVE-80K ڈیٹاسیٹ تیار کیا جاتا ہے، جس سے جوڑی دار تربیتی ڈیٹا کی کمی کا مسئلہ حل ہوتا ہے۔

کوڈ کلون کریں: GitHub سے InstructAV2AV کا کوڈ ریپوزٹری مقامی کمپیوٹر پر کلون کریں۔
ماحول ترتیب دیں: ریپوزٹری کی ہدایات کے مطابق Python ماحول ترتیب دیں اور مطلوبہ انحصارات انسٹال کریں۔
وزن ڈاؤن لوڈ کریں: Hugging Face سے InstructAV2AV ماڈل کے وزن ڈاؤن لوڈ کریں۔
مواد تیار کریں: آواز کے ساتھ ایک ویڈیو بطور ان پٹ تیار کریں۔
ہدایت درج کریں: قدرتی زبان میں ایک ہدایت درج کریں جس میں مطلوبہ ترمیم کی وضاحت ہو۔
انفرنس چلائیں: انفرنس اسکرپٹ چلائیں اور ماڈل کے ترمیم شدہ ویڈیو اور آڈیو تیار کرنے کا انتظار کریں۔
نتیجہ محفوظ کریں: آؤٹ پٹ دیکھیں اور مکمل ترمیم شدہ آڈیو ویڈیو فائل محفوظ کریں۔

پروجیکٹ کی ویب سائٹ：https://hjzheng.net/projects/InstructAV2AV/
GitHub ریپوزٹری：https://github.com/suimuc/InstructAV2AV
HuggingFace ماڈل ریپوزٹری：https://huggingface.co/suimu/InstructAV2AV
arXiv تکنیکی مقالہ：https://arxiv.org/pdf/2605.18467

فلمی پوسٹ پروڈکشن: فلمی پوسٹ پروڈکشن کے ماہرین اداکاروں کے مکالمے تبدیل کر کے ہونٹوں کی حرکت کے ساتھ ہم آہنگ کرتے ہیں، جس سے دوبارہ شوٹنگ کی لاگت کم ہوتی ہے۔
مختصر ویڈیو سازی: مختصر ویڈیو تخلیق کار ایک جملے کے ذریعے مواد میں موجود کرداروں اور آوازوں کو تبدیل کرتے ہیں، جس سے تخلیقی کارکردگی بہتر ہوتی ہے۔
ورچوئل انسان: ورچوئل انسانوں کی انتظامی ٹیمیں ڈیجیٹل انسانوں کی ظاہری شکل، آواز کے رنگ اور بولنے کے مواد کو ایڈجسٹ کرتی ہیں۔
اشتہاری تخلیق: اشتہاری شعبے سے وابستہ افراد مختلف کرداروں اور مکالموں والے تشہیری ویڈیوز کے متعدد ورژن تیار کرتے ہیں۔
تعاملی مواد کی تیاری: گیم اور تعلیمی شعبے کے کارکن آواز اور تصویر میں ہم آہنگی رکھنے والا ملٹی میڈیا مواد متحرک طور پر تیار کرتے ہیں۔