جے ڈی ڈاٹ کام نے آج اپنے تیار کردہ ریئل ٹائم اسٹریمنگ ویڈیو ایڈیٹنگ ماڈل JoyAI-Video-Edit کو اوپن سورس کرنے کا اعلان کیا۔ صارفین ویڈیو دیکھتے ہوئے کرداروں اور مناظر میں ترمیم کر سکتے ہیں، جس سے ویڈیو تخلیق “پہلے مواد تیار کرو، پھر ترمیم کرو” سے بدل کر ریئل ٹائم انٹرایکٹو ایڈیٹنگ بن جاتی ہے۔
جے ڈی ڈاٹ کام کے مطابق، اسٹریمنگ ریئل ٹائم ویڈیو ایڈیٹنگ کے شعبے میں JoyAI-Video-Edit نے صنعت کے موجودہ نمایاں ماڈلز کے مقابلے میں تمام پیمانوں پر برتری حاصل کی ہے اور عالمی معیار کی کارکردگی دکھائی ہے۔
ریئل ٹائم ویڈیو ایڈیٹنگ میں سب سے پہلے رفتار کا مسئلہ حل کرنا ضروری ہے۔ ویڈیو مسلسل آنے والے فریموں پر مشتمل ہوتی ہے؛ اگر ماڈل کی پراسیسنگ رفتار پلے بیک رفتار سے کم ہو تو رکاوٹ اور تاخیر پیدا ہوتی ہے۔ مکمل طور پر خود تیار کردہ JoyAI-Video ماڈل پر مبنی JoyAI-Video-Edit نے 720P ریزولوشن پر فی سیکنڈ 30 فریم کی ماڈل inference رفتار حاصل کی ہے، جس سے یہ بلند تصویری وضاحت برقرار رکھتے ہوئے عام فلمی ویڈیوز کی پلے بیک رفتار کے ساتھ چل سکتا ہے۔
ویڈیو کی طوالت بھی اسٹریمنگ ایڈیٹنگ کی ایک بڑی رکاوٹ ہے۔ اس سے پہلے کے اسٹریمنگ ایڈیٹنگ ماڈلز صرف چند سیکنڈ یا چند منٹ کے کلپس پراسیس کر سکتے تھے، جبکہ JoyAI-Video-Edit کسی بھی دورانیے کی مستحکم اسٹریمنگ ایڈیٹنگ کو سپورٹ کرتا ہے اور ویڈیو کے مسلسل چلنے کے ساتھ مسلسل پراسیسنگ کر سکتا ہے۔ صارفین کو پوری ویڈیو تیار ہونے کا انتظار نہیں کرنا پڑتا؛ وہ پلے بیک کے دوران مناظر میں ترمیم، اشیا کی تبدیلی، کرداروں کی شکل میں ردوبدل یا بصری انداز تبدیل کر سکتے ہیں، یعنی “دیکھتے ہوئے تخلیق” کر سکتے ہیں۔
مثلاً تخلیق کار ویڈیو میں موجود کردار کے لباس کو مسلسل تبدیل کر سکتے ہیں، لائیو اسٹریمنگ کے دوران عام سڑک کو اینیمیٹڈ دنیا میں بدل سکتے ہیں، یا گھر کے ڈیزائن میں مختلف فرنیچر، دیواروں اور روشنی کے اثرات آزما سکتے ہیں۔
ماڈل کی صلاحیتوں کا جائزہ لینے کے لیے تحقیقی ٹیم نے JoyAI-Video-Edit کا موازنہ SANA Streaming، LiveEdit، Xmax-X2.0 اور دیگر بین الاقوامی طور پر نمایاں اسٹریمنگ ویڈیو ایڈیٹنگ ماڈلز سے کیا۔ نتائج سے ظاہر ہوا کہ عام ویڈیو ایڈیٹنگ کے نمایاں منظرناموں پر مشتمل تشخیصی ڈیٹا میں JoyAI-Video-Edit کی مجموعی کارکردگی تمام پہلوؤں میں بہتر رہی۔
صنعت کے مستند عمومی جائزے OpenVE-Bench میں ماڈل نے اس وقت موجود تمام اسٹریمنگ ایڈیٹنگ طریقوں کو پیچھے چھوڑ دیا۔ عالمی انداز، مقامی تبدیلی، مقامی حذف اور سب ٹائٹل ایڈیٹنگ جیسے کاموں میں اس کی برتری خاص طور پر نمایاں رہی اور اس نے صنعت کے ہم عصر ماڈلز کو بڑے فرق سے پیچھے چھوڑا۔
ویڈیو تخلیق کے علاوہ، JoyAI-Video-Edit نے embodied intelligence کے لیے بڑے پیمانے پر ڈیٹا synthesis کا ایک نیا تکنیکی راستہ بھی فراہم کیا ہے۔ روبوٹ کی تربیت کے لیے اشیا پکڑنے، منتقل کرنے اور چلانے کی بہت سی ویڈیوز درکار ہوتی ہیں، لیکن حقیقی مشین سے ڈیٹا اکٹھا کرنے کی لاگت زیادہ ہے، جبکہ خطرناک یا کم پیش آنے والے منظرناموں کا بار بار ڈیٹا جمع کرنا بھی مشکل ہوتا ہے۔ مناظر، اشیا اور تصویری مواد کو قابو کے ساتھ ایڈٹ کرنے کی صلاحیت کی بدولت JoyAI-Video-Edit انسانی ہاتھ سے اشیا چلانے کی ویڈیوز کو روبوٹک ہاتھ یا بازو سے اشیا چلانے کے مواد میں تبدیل کر سکتا ہے۔ یہ اشیا کی جگہ، باہمی فضائی تعلق اور حرکات کے راستے برقرار رکھتے ہوئے منظر، اشیا اور روبوٹ کی شکل تبدیل کر کے ایک ویڈیو سے مزید تربیتی نمونے تیار کر سکتا ہے۔
JoyAI-Video-Edit کا اوپن سورس پتہ:
https://huggingface.co/jdopensource/JoyAI-Video-Edit
https://github.com/jd-opensource/JoyAI-Video-Edit