EdenLive آپریشن میں

EdenLive، VAST کا پیش کردہ حقیقی وقت کا جنریٹو رینڈرر ہے، جو اس کے ورلڈ ماڈل منصوبے Project Eden کا ایک مرحلہ وار نتیجہ ہے۔ EdenLive Proxy کے سادہ کردہ مناظر یا حوالہ جاتی ویڈیو کو کنٹرول سگنل کے طور پر استعمال کرتا ہے، اور ہدف کے ابتدائی فریم اور متنی پرامپٹ کے ساتھ مسلسل حقیقی وقت میں حقیقت پسندانہ یا اسٹائلائزڈ مناظر تیار کرتا ہے۔ ایک RTX 5090 پر 720P اور 24FPS سے زیادہ رفتار حاصل کی جا سکتی ہے، جبکہ تاخیر صرف سیکڑوں ملی سیکنڈ ہوتی ہے۔ EdenLive کا بنیادی ڈیزائن ورلڈ اسٹیٹ کی دیکھ بھال اور بصری رینڈرنگ کو الگ کرتا ہے؛ مکمل آرٹ اثاثوں کے بغیر قابلِ تعامل مناظر تیار کیے جا سکتے ہیں۔ یہ مکمل طور پر اوپن سورس ہے اور گیمز، اینیمیشن اور ایمبوڈیڈ انٹیلی جنس کے ڈیٹا کی تیاری جیسے شعبوں میں استعمال ہو سکتا ہے۔

حقیقی وقت کی جنریٹو رینڈرنگ: Proxy کے سادہ کردہ مناظر یا حوالہ جاتی ویڈیو کو کنٹرول سگنل کے طور پر استعمال کرتے ہوئے مسلسل حقیقی وقت میں تفصیلی یا اسٹائلائزڈ مناظر تیار کرتا ہے، اور 720P پر فریم ریٹ 24 FPS سے زیادہ ہوتا ہے۔
کسی بھی بصری انداز میں تبدیلی: صرف ہدف کا ابتدائی فریم اور متنی پرامپٹ فراہم کریں، اور ایک ہی منظر کو اینیمے، آئل پینٹنگ، حقیقت پسندانہ اور دیگر بصری انداز میں تبدیل کریں۔
کسی بھی حوالہ جاتی ان پٹ کی معاونت: 2D اینیمیشن، 3D مناظر، حقیقی ویڈیو اور دیگر ذرائع کو ساخت اور حرکت کے حوالے کے طور پر استعمال کیا جا سکتا ہے؛ کسی مخصوص رینڈرنگ پائپ لائن پر انحصار نہیں۔
Proxy-to-Fine جنریشن: کسی منظر کی کھردری ساخت سے براہِ راست اعلیٰ معیار کا تیار شدہ منظر بناتا ہے، اس لیے مکمل آرٹ اثاثے پہلے سے تیار کرنے کی ضرورت نہیں۔
گیم انٹرایکشن انضمام: بالائی سطح کے انٹرایکشن سسٹم کے ساتھ الگ مگر مربوط انداز میں کام کرتا ہے، گیم کا UI اور آپریشن میکانزم برقرار رکھتے ہوئے اسٹیٹ مینجمنٹ اور حقیقی وقت کی رینڈرنگ کا مکمل سلسلہ فراہم کرتا ہے۔
اوپن سورس ایکو سسٹم: ماڈل وزن، انفرنس کوڈ اور تکنیکی رپورٹ فراہم کرتا ہے، جبکہ Game Prototype Turbo کے ذریعے قدرتی زبان سے ایک کلک میں قابلِ کھیل Proxy گیم تیار کی جا سکتی ہے۔
ایمبوڈیڈ انٹیلی جنس کے لیے ڈیٹا جنریشن: اصل ایکشن ٹریجیکٹری اور منظر کی ساخت برقرار رکھتے ہوئے بصری شکل تبدیل کرتا ہے، تاکہ روبوٹ کی تربیت کے لیے متنوع ڈیٹا فراہم کیا جا سکے۔

WeChat پر فالو کریں اور “开源” کا جواب بھیج کر AI اوپن سورس پروجیکٹس کے گروپ میں شامل ہوں
اسٹیٹ اور رینڈرنگ کا الگ معماری ڈھانچہ: EdenLive ورلڈ اسٹیٹ کی دیکھ بھال اور بصری جنریشن کو الگ کرتا ہے۔ گیم کے قواعد، کرداروں کے مقامات اور تصادم کے فیصلے بالائی سطح کا انٹرایکشن سسٹم واضح طور پر ریکارڈ اور اپ ڈیٹ کرتا ہے، جبکہ ویڈیو ماڈل کو پوشیدہ اسٹیٹ کا اندازہ لگانے کی ضرورت نہیں رہتی۔ اس طرح جنریشن کے دورانیے کے ساتھ غلطیوں کے بتدریج جمع ہونے سے بچا جا سکتا ہے اور ماڈل تصویر کے معیار اور حقیقی وقت کی کارکردگی پر توجہ دیتا ہے۔
Proxy-to-Fine جنریشن پیراڈائم: ماڈل Proxy کے سادہ کردہ حوالہ جاتی منظر سے منظر کی ترتیب، کیمرہ کی حرکت اور موٹی سطح کی حرکیات کو شرائط کے طور پر لیتا ہے۔ حوالہ جاتی منظر کے لیے مخصوص جیومیٹری کی درستگی ضروری نہیں، پھر بھی تفصیلی ہدفی منظر تیار کیا جا سکتا ہے۔
ملٹی موڈل کنڈیشن کنٹرول: جنریشن تین اقسام کے ان پٹ سے مشترکہ طور پر چلتی ہے: حوالہ جاتی ویڈیو اسٹریم ساخت اور حرکت کی معلومات فراہم کرتی ہے، ہدف کا ابتدائی فریم مجموعی بصری شکل اور انداز طے کرتا ہے، جبکہ متنی پرامپٹ انداز اور تفصیلات مکمل کرتا ہے۔ یہ تینوں مل کر کسی بھی حوالہ اور کسی بھی بصری انداز کا لچک دار کنٹرول ممکن بناتے ہیں۔
حقیقی وقت کی اسٹریم جنریشن: ماڈل آف لائن مکمل حصے کی جنریشن کے بجائے اسٹریم انفرنس استعمال کرتا ہے، متحرک حوالہ جاتی منظر میں ہونے والی تبدیلیاں مسلسل وصول کرتا اور ہر فریم کے لیے رینڈرنگ نتیجہ آؤٹ پٹ کرتا ہے۔ ایک RTX 5090، 5B پیرامیٹرز اور 720P کی ترتیب میں یہ 24 FPS سے زیادہ رفتار، سیکڑوں ملی سیکنڈ کی اینڈ ٹو اینڈ تاخیر اور کئی منٹ تک مسلسل جنریشن فراہم کرتا ہے۔

کوڈ حاصل کریں: GitHub سے اوپن سورس ریپوزٹری کلون کریں https://github.com/VAST-AI-Research/EdenLive۔
وزن ڈاؤن لوڈ کریں: Hugging Face سے متعلقہ سائز اور خصوصیات کے ماڈل وزن حاصل کریں https://huggingface.co/VAST-AI/EdenLive۔
ان پٹ ایک، حوالہ جاتی منظر تیار کریں: Proxy کا سادہ کردہ منظر یا حوالہ جاتی ویڈیو اسٹریم فراہم کریں، جو خود تیار کردہ 2D/3D منظر، گیم انجن کے آؤٹ پٹ یا اسکرین ریکارڈنگ سے حاصل ہو سکتا ہے۔
ان پٹ دو، ہدف کا ابتدائی فریم تیار کریں: ایک ایسا ابتدائی فریم منتخب کریں جو مجموعی بصری انداز اور ظاہری شکل طے کرے۔
ان پٹ تین، متنی پرامپٹ تیار کریں: انداز اور تفصیلات بیان کرنے والا متنی پرامپٹ لکھیں۔
انفرنس چلائیں: انفرنس کوڈ کال کریں؛ EdenLive حوالہ جاتی منظر کو حقیقی وقت میں مقررہ انداز کے تفصیلی منظر یا ویڈیو اسٹریم میں رینڈر کرے گا۔
انٹرایکشن سسٹم سے مربوط کریں: بالائی سطح کے انجن سے حاصل ہونے والے متحرک حوالہ جاتی منظر کو مسلسل ماڈل میں داخل کریں، تاکہ گیم جیسے حقیقی وقت کے انٹرایکٹو منظرناموں کے لیے رینڈرنگ کا مکمل حلقہ قائم ہو۔
اینڈ ٹو اینڈ ڈیمو آزمائیں: اوپن سورس Game Prototype Turbo استعمال کرتے ہوئے قدرتی زبان سے قابلِ کھیل Proxy گیم بنائیں، پھر اسے EdenLive کی حقیقی وقت کی رینڈرنگ سے جوڑ کر مکمل عمل آزمائیں۔

بہترین حقیقی وقت کی کارکردگی: ایک RTX 5090 پر 720P اور 24FPS سے زیادہ رفتار کے ساتھ کئی منٹ تک مسلسل جنریشن ممکن ہے، جبکہ اینڈ ٹو اینڈ تاخیر صرف سیکڑوں ملی سیکنڈ ہوتی ہے۔
مستحکم الگ معماری ڈھانچہ: ورلڈ اسٹیٹ انٹرایکشن سسٹم واضح طور پر برقرار رکھتا ہے اور ویڈیو ماڈل صرف رینڈرنگ پر توجہ دیتا ہے، اس طرح پوشیدہ اسٹیٹ کے اندازے سے پیدا ہونے والی غلطیوں کا جمع ہونا روکا جاتا ہے۔
کم ان پٹ رکاوٹ: Proxy حوالہ کے لیے نہ تفصیلی جیومیٹری درکار ہے نہ مخصوص رینڈرنگ پائپ لائن؛ کھردرے منظر سے بھی تیار شدہ معیار کا منظر بنایا جا سکتا ہے۔
آزاد بصری انداز کی تبدیلی: ایک ہی حوالہ جاتی منظر سے حقیقت پسندانہ، اینیمے، آئل پینٹنگ اور دیگر انداز تیار کیے جا سکتے ہیں، ہر انداز کے لیے اثاثے دوبارہ بنانے کی ضرورت نہیں۔
کسی بھی حوالہ سے مطابقت: 2D اینیمیشن، 3D مناظر، حقیقی ویڈیو اور دیگر ذرائع کی معاونت کرتا ہے اور انہیں یکساں جنریٹو رینڈرنگ میں تبدیل کرتا ہے۔

پروجیکٹ کی ویب سائٹ: https://vast-eden.ai/?p=edenlive
GitHub ریپوزٹری: https://github.com/VAST-AI-Research/EdenLive
HuggingFace ماڈل لائبریری: https://huggingface.co/VAST-AI/EdenLive
تکنیکی مقالہ: https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

AI گیم ڈویلپمنٹ: EdenLive کی حقیقی وقت کی رینڈرنگ سے تیار شدہ معیار کے مناظر بنائے جا سکتے ہیں، جس سے آزاد ڈویلپر کم لاگت میں 3D گیم تیار کر سکتے ہیں۔
فلم اور اینیمیشن کی ابتدائی تیاری: ہدایت کار سادہ مناظر کے ذریعے کمپوزیشن، کیمرہ کی حرکت اور کرداروں کی نقل و حرکت طے کرنے کے بعد حقیقت پسندانہ، کارٹون، آئل پینٹنگ اور دیگر انداز کے ورژن ایک کلک میں تیار کر سکتا ہے، اور تیزی سے فنکارانہ سمت متعین کر سکتا ہے۔
حقیقی وقت کی اسٹائلائزڈ لائیو اسٹریمنگ/ویڈیو: حقیقی انسان کی ویڈیو کو حوالہ بنا کر انسانی اداکاری کو حقیقی وقت میں اینیمے یا دیگر انداز کے مناظر میں رینڈر کیا جا سکتا ہے، جسے ورچوئل اینکرز اور مختصر ویڈیوز کی تیاری میں استعمال کیا جا سکتا ہے۔
ایمبوڈیڈ انٹیلی جنس کے لیے تربیتی ڈیٹا جنریشن: روبوٹ کی ایکشن ٹریجیکٹری اور منظر کی ساخت برقرار رکھتے ہوئے بصری شکل تبدیل کرتا ہے، اور روبوٹ کی تربیت کے لیے تیزی سے متنوع مصنوعی ڈیٹا تیار کرتا ہے۔
انٹرایکٹو تعلیم اور ورچوئل تجربات: تعلیمی اور نمائشی ایپلی کیشنز کے سادہ 3D مناظر کو حقیقی وقت میں اعلیٰ معیار کے مناظر میں رینڈر کرتا ہے، تاکہ صارفین براؤزر یا ہلکے پھلکے آلات پر عمیق اور قابلِ تعامل تجربہ حاصل کر سکیں۔