JoyAI-Video-Edit آپریشن میں

JoyAI-Video-Edit جے ڈی ڈاٹ کام کا اندرونی طور پر تیار کردہ اوپن سورس ریئل ٹائم اسٹریمنگ ویڈیو ایڈیٹنگ ماڈل ہے۔ یہ 16B پیرامیٹرز پر مبنی آٹو ریگریسو ڈفیوژن آرکیٹیکچر استعمال کرتا ہے، 720P ریزولوشن پر 30FPS کی推理 رفتار حاصل کرتا ہے اور کسی بھی دورانیے کی مستحکم اسٹریمنگ ایڈیٹنگ کو سپورٹ کرتا ہے۔ صارفین ویڈیو کی مکمل تخلیق کا انتظار کیے بغیر، ویڈیو چلنے کے دوران قدرتی زبان کی ہدایات کے ذریعے کرداروں، مناظر، انداز اور اشیا میں ریئل ٹائم تبدیلیاں کر سکتے ہیں۔ OpenVE-Bench کی جانچ میں اس ماڈل نے تمام اسٹریمنگ ایڈیٹنگ طریقوں کو پیچھے چھوڑتے ہوئے تمام اشاریوں میں نمایاں برتری حاصل کی، اور مجسم ذہانت کے لیے بڑے پیمانے پر ڈیٹا سنتھیسس کا راستہ بھی فراہم کر سکتا ہے۔

ریئل ٹائم اسٹریمنگ ایڈیٹنگ: ویڈیو فریم موصول ہوتے ہی ترمیم کی جاتی ہے، مکمل سیکوئنس پہلے سے معلوم ہونا ضروری نہیں۔
اوپن اینڈڈ ہدایتی کنٹرول: عالمی انداز کی منتقلی، مقامی اشیا کا اضافہ، حذف اور ترمیم، پس منظر کی تبدیلی، حرکات میں ردوبدل اور حوالہ جاتی تصویر کی رہنمائی میں ایڈیٹنگ کو سپورٹ کرتا ہے۔
کسی بھی دورانیے کی پروسیسنگ: سیکنڈ یا منٹ کی حد سے آگے بڑھتے ہوئے، ویڈیو چلنے کے دوران مسلسل مستحکم ایڈیٹنگ ممکن بناتا ہے۔
720P ہائی تھروپٹ تعیناتی: اینڈ ٹو اینڈ پائپ لائن 720×1280 ریزولوشن پر 30.19 FPS تک پہنچتی ہے۔
کثیر جہتی ایڈیٹنگ صلاحیت: لباس کی تبدیلی، منظر کی تبدیلی، انداز کی منتقلی، اشیا کی تبدیلی اور سب ٹائٹل ایڈیٹنگ سمیت مختلف کاموں کو کور کرتی ہے۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
MLLM کنڈیشنل انکوڈر: ملٹی موڈل بڑے زبان ماڈل کے ذریعے قدرتی زبان کی ہدایات کو ایڈیٹنگ کنڈیشنز میں انکوڈ کرتا ہے، جس سے اوپن اینڈڈ معنوی کنٹرول حاصل ہوتا ہے۔
کازل ویڈیو VAE: ویڈیو فریمز کو کمپریس اور دوبارہ تشکیل دینے کے لیے کازل زمانی ساخت والا ویری ایشنل آٹو انکوڈر استعمال کرتا ہے، جو اسٹریمنگ منظرناموں میں زمانی یکسانیت یقینی بناتا ہے۔
16B پیرامیٹرز والا MMDiT بیک بون: 16B ملٹی موڈل ڈفیوژن Transformer کو مرکز بنا کر متنی اور بصری خصوصیات کو یکجا کرتا ہے اور آٹو ریگریسو ڈفیوژن جنریشن انجام دیتا ہے۔
آٹو ریگریسو ڈسٹری بیوشن میچنگ ڈسٹلیشن: آٹو ریگریسو ڈسٹری بیوشن کو ہم آہنگ کرنے والی ڈسٹلیشن حکمت عملی کے ذریعے推理 کو تیز کرتا ہے، جس سے تربیت اور推理 کے درمیان ڈسٹری بیوشن کا فرق نمایاں طور پر کم ہوتا ہے۔
طویل زمانی دائرے کی اصلاح اور محدود KV推理: طویل مدتی زمانی استحکام کی اصلاح اور محدود KV کیش میکانزم متعارف کراتا ہے، جمع ہونے والے زمانی انحراف کو دباتا ہے اور ہائی تھروپٹ برقرار رکھتا ہے۔

ماحول کی تیاری: python=3.10 کے ساتھ Conda ماحول بنائیں اور requirements.txt کی dependencies انسٹال کریں۔
وزنز ڈاؤن لوڈ کریں: Hugging Face سے ماڈل فائلیں حاصل کریں اور چیک پوائنٹس کو مخصوص ڈائریکٹری ساخت کے مطابق رکھیں۔
سروس شروع کریں: deploy ڈائریکٹری میں جا کر مقامی سرور شروع کرنے کے لیے bash run_server.sh چلائیں۔
انٹرفیس کھولیں: براؤزر میں http://localhost:8080 کھول کر انٹرایکٹو ایڈیٹنگ انٹرفیس میں داخل ہوں۔
ریئل ٹائم ایڈیٹنگ: ویڈیو اپ لوڈ کریں یا کیمرہ اسٹریم منسلک کریں، پھر قدرتی زبان کی ہدایات درج کر کے ویڈیو چلاتے ہوئے ترمیم کریں۔

ریئل ٹائم اسٹریمنگ ایڈیٹنگ: ویڈیو فریم موصول ہوتے ہی پروسیس کیے جاتے ہیں، مکمل سیکوئنس کا انتظار ضروری نہیں، جس سے حقیقی ”چلتے ہوئے ترمیم“ کا تجربہ حاصل ہوتا ہے۔
رفتار اور معیار دونوں میں برتری: 720P ریزولوشن پر اینڈ ٹو اینڈ推理 30.19 FPS تک پہنچتی ہے، اور OpenVE-Bench کی جانچ میں تمام اسٹریمنگ اور آف لائن ایڈیٹنگ طریقوں کو پیچھے چھوڑ دیتی ہے۔
کسی بھی دورانیے کا مستحکم آؤٹ پٹ: روایتی ماڈلز کی سیکنڈ یا منٹ کے کلپس تک محدودیت ختم کرتے ہوئے، ویڈیو چلنے کے دوران بغیر انحراف کے مسلسل مستحکم ایڈیٹنگ فراہم کرتا ہے۔
اوپن اینڈڈ معنوی کنٹرول: MLLM کنڈیشنل انکوڈر کی بنیاد پر قدرتی زبان کی ہدایات سے عالمی انداز، مقامی اشیا، پس منظر کی تبدیلی اور حوالہ جاتی تصویر کی رہنمائی سمیت کثیر جہتی ایڈیٹنگ کو سپورٹ کرتا ہے۔
مؤثر推理 آرکیٹیکچر: 16B پیرامیٹرز والا آٹو ریگریسو ڈفیوژن Transformer، ڈسٹری بیوشن میچنگ ڈسٹلیشن اور محدود KV کیش کے ساتھ مل کر تربیت اور推理 کے فرق کو نمایاں طور پر کم کرتا اور زمانی جمع شدہ خطا کو دباتا ہے۔

GitHub ریپوزٹری: https://github.com/jd-opensource/JoyAI-Video-Edit
HuggingFace ماڈل ریپوزٹری: https://huggingface.co/jdopensource/JoyAI-Video-Edit
arXiv تکنیکی مقالہ: https://arxiv.org/pdf/2608.03974

مختصر ویڈیو تخلیق: تخلیق کار ویڈیو چلنے کے دوران کرداروں کے لباس تبدیل کر سکتے اور منظر کا انداز ایڈجسٹ کر سکتے ہیں، جس سے مواد کی تیاری کی کارکردگی بہتر ہوتی ہے۔
لائیو اسٹریمنگ کے ریئل ٹائم افیکٹس: اینکر ویڈیو چلاتے ہوئے پس منظر تبدیل کر سکتا یا ورچوئل عناصر شامل کر سکتا ہے، جس سے انٹرایکٹو لائیو ویژول اضافہ ممکن ہوتا ہے۔
گھریلو سجاوٹ اور اندرونی ڈیزائن: صارف کمرے کی ویڈیو دیکھتے ہوئے فرنیچر، دیواروں کے میٹیریلز اور روشنی کے اثرات کو ریئل ٹائم میں تبدیل کر سکتے ہیں، جس سے تزئین و آرائش کے فیصلوں میں مدد ملتی ہے۔
فلم اور ٹی وی پوسٹ پروڈکشن پری ویژولائزیشن: ہدایت کار ایڈیٹنگ کے مرحلے میں مختلف بصری انداز اور منظر کی تبدیلیاں تیزی سے آزما سکتے ہیں، جس سے تجربات کی لاگت کم ہوتی ہے۔
مجسم ذہانت کے لیے ڈیٹا سنتھیسس: انسانی ہاتھوں سے کیے گئے آپریشن کی ویڈیوز کو روبوٹک بازو کے آپریشن کے مواد میں تبدیل کر کے کم لاگت میں روبوٹ تربیتی ڈیٹا کا حجم بڑھاتا ہے۔