EchoWM آپریشن میں

EchoWM جے ڈی ایکسپلوریشن انسٹی ٹیوٹ کا اوپن سورس کردہ انٹرایکٹو آڈیو ویژول ورلڈ ماڈل ہے۔ یہ ماڈل JoyAI-Echo کی مقامی آڈیو ویژول جنریشن صلاحیت کو برقرار رکھتے ہوئے صارفین کو پہلی/تیسری شخص کے نقطۂ نظر سے AI کے تیار کردہ世界 میں حقیقی وقت میں حرکت اور دریافت کی سہولت دیتا ہے۔ منظر، مقامی تعلقات، ماحول کی آواز اور گفتگو مسلسل ہم آہنگ رہتے ہیں اور طویل وقت تک اپنی درستگی برقرار رکھتے ہیں۔ ماڈل کو متحد کیمرہ ارادے کے انٹرفیس اور ورلڈ ڈیٹا انجن کے ذریعے تربیت دی گئی ہے، جبکہ WBench نیویگیشن جائزے میں اس کا اوسط اسکور 81.7 رہا، جو پہلے نمبر پر ہے۔

حقیقی وقت میں قابلِ دریافت دنیا کی تیاری: صارف WASD سمت کیز کے ذریعے AI کے تیار کردہ منظر میں آزادانہ طور پر حرکت، رخ کی تبدیلی اور واپسی کر سکتا ہے؛ دنیا ہر عمل کے ساتھ حقیقی وقت میں پھیلتی ہے۔
مقامی آڈیو ویژول مشترکہ جنریشن: ایک ہی فریم ورک میں 720p ویڈیو کے ساتھ ماحول کی آواز، موسیقی اور کرداروں کی گفتگو ہم وقت تیار کی جاتی ہے، جبکہ آواز منظر کی تبدیلیوں کے ساتھ قدرتی طور پر جاری رہتی ہے۔
پہلی/تیسری شخص کے دوہرے نقطۂ نظر کا کنٹرول: پہلی شخص کے موڈ میں کیمرہ مشاہدہ کرنے والے کے ساتھ حرکت کرتا ہے، جبکہ تیسری شخص کے موڈ میں کیمرہ کردار، گاڑی یا دیگر مرکزی عنصر کی حرکت کا خودکار تعاقب کرتا ہے۔
کئی مراحل پر مشتمل طویل مدتی تسلسل: پچھلے آڈیو ویژول حصے کے اختتام کو اگلے مرحلے کے سیاق کے طور پر استعمال کیا جاتا ہے، اس لیے متعدد کارروائیوں کے بعد بھی منظر کی ترتیب، مرکزی عنصر کی ظاہری شکل اور آواز مربوط رہتی ہے۔
WBench نیویگیشن جائزے میں اول: 158 کیسز میں اوسط اسکور 81.7 رہا، جبکہ تسلسل اور تعامل کے اشاریے بھی سرفہرست رہے۔

WeChat پر فالو کر کے “اوپن سورس” کا جواب دیں اور AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
متحد کیمرہ ارادے کا انٹرفیس: جداگانہ کی بورڈ ہدایات کو ابتدائی پوز کے نسبت مسلسل 6-DoF ٹریک میں تبدیل کیا جاتا ہے، تاکہ کیمرے کی حرکت کو بیان کرنے کے لیے ایک ہی انٹرفیس استعمال ہو۔ پہلی شخص کے موڈ میں یہ مشاہدہ کرنے والے کی حرکت کو براہِ راست ظاہر کرتا ہے، جبکہ تیسری شخص کے موڈ میں ماڈل ڈیٹا سے “مرکزی عنصر کی حرکت—کیمرے کا تعاقب” کا باہمی تعلق سیکھتا ہے۔ کردار کے اضافی ٹریک یا کیمرہ پری سیٹ پیرامیٹرز کی ضرورت نہیں ہوتی، اور ٹریک صرف ویڈیو برانچ میں شامل کیا جاتا ہے؛ آڈیو منظر کے ساتھ مربوط طور پر تبدیل ہوتی ہے۔
ورلڈ ڈیٹا انجن: چار تکمیلی ڈیٹا ذرائع کو یکجا کرتا ہے، جن میں اندرونی طور پر جمع کیا گیا gameplay، انسانی گیم پلے ریکارڈنگ، UE سمیولیشن اور عام انٹرنیٹ ویڈیوز شامل ہیں۔ اس کے بعد ٹریک کی زیادہ سے زیادہ منتقلی کے 90ویں پرسنٹائل کو عالمی “پیمانہ” بنا کر یکساں نارملائزیشن کی جاتی ہے، جس سے مختلف ٹریکس کے درمیان نسبتی نقل مکانی کا فرق برقرار رہتا ہے اور حصوں کے الگ الگ پیمانے کی وجہ سے رفتار میں اچانک تبدیلی سے بچا جاتا ہے۔
بتدریج چار مرحلوں کی تربیت: پہلے مرحلے میں AV-rich ڈیٹا کے ذریعے آڈیو ویژول مسلسل پری ٹریننگ کی بنیاد تیار کی جاتی ہے؛ دوسرے مرحلے میں بنیادی نیٹ ورک کو منجمد کر کے صرف ہلکی پھلکی ٹریک برانچ کو تربیت دی جاتی ہے تاکہ کنٹرول رسپانس مضبوط ہو؛ تیسرے مرحلے میں کنٹرول کی قابلِ اعتماد کارکردگی اور آڈیو ویژول معیار، دونوں رکھنے والے ڈیٹا سے کم لرننگ ریٹ پر مشترکہ فائن ٹیوننگ کی جاتی ہے؛ چوتھے مرحلے میں آٹو ریگریسو پوسٹ ٹریننگ کے ذریعے Teacher Forcing کو تبدیل کر کے causal block generation بنایا جاتا ہے، اور قلیل مدتی Self-Gradient Forcing کے ذریعے ماڈل کو اپنی تیار کردہ تاریخ کے مطابق ڈھالا جاتا ہے۔ اس کے بعد distribution matching distillation کے ذریعے اسے چار sampling steps تک محدود کیا جاتا ہے، جبکہ sink-plus-FIFO کیش میکانزم کنٹرول KV لاگت برقرار رکھتے ہوئے طویل مدتی اسٹریمنگ تعامل کو ممکن بناتا ہے۔

ریپوزٹری کلون کریں: git clone کے ذریعے github.com/jd-opensource/JoyAI-Echo ڈاؤن لوڈ کریں، پھر echo_wm/ ڈائریکٹری میں جائیں (یہ طویل ویڈیو پروجیکٹ echo_longvideo/ سے الگ ہے)۔
ماحول بنائیں: conda create -n echo-wm python=3.11 کے ذریعے الگ ماحول بنائیں اور اسے فعال کریں۔
انحصار انسٹال کریں: پہلے PyTorch 2.9.1 (cu128) انسٹال کریں، پھر pip install -r requirements.txt چلائیں، اور torch.cuda.is_available() کے ذریعے گرافکس کارڈ کی دستیابی کی تصدیق کریں۔
ماڈل کے وزن ڈاؤن لوڈ کریں: hf download Echo-Team/Echo-WM کے ذریعے ماڈل checkpoint ڈاؤن لوڈ کریں؛ Gemma 3 ٹیکسٹ انکوڈر بھی ڈاؤن لوڈ کرنا ہوگا (یہ gated ریپوزٹری ہے، اس لیے پہلے HF صفحے پر لائسنس قبول کریں اور hf auth login چلائیں)۔
سرکاری مثال سے تصدیق کریں: scripts/run_wm_case.py --case examples/wm_cases/0010 جیسے بلٹ اِن مکمل کیسز چلائیں تاکہ ماحول کی درست ترتیب کی تصدیق ہو سکے۔
حسبِ ضرورت جنریشن: inference_wm.py چلائیں اور ابتدائی فریم کی تصویر + چھ فیلڈز پر مشتمل پرامپٹ + ایکشن اسٹرنگ (Action DSL) فراہم کریں؛ نتیجے میں آواز والی ویڈیو تیار ہوگی۔
ایکشن ہدایات لکھیں: کیمرے کی حرکت بیان کرنے کے لیے Action DSL استعمال کریں، فارمیٹ <کی>-<فریمز> ہے، اور کمانڈز کو کوما سے جوڑیں، مثلاً w-60,a-60 کا مطلب ہے پہلے 60 فریم آگے بڑھنا اور پھر 60 فریم بائیں جانا؛ w/s/a/d/i/j/k کے امتزاج کی حمایت کی جاتی ہے۔

آڈیو ویژول یکجائی: ایک ہی فریم ورک میں 720p ویڈیو کے ساتھ ماحول کی آواز، موسیقی اور گفتگو مقامی طور پر مشترکہ طور پر تیار کی جاتی ہے۔ آواز منظر اور واقعات کے ساتھ ہم وقت تبدیل ہوتی ہے، جس سے زیادہ تر ورلڈ ماڈلز کا “صرف منظر، آواز نہیں” مسئلہ حل ہوتا ہے۔
متحد کنٹرول انٹرفیس: ایک ہی نسبتی 6-DoF ٹریک کے ذریعے پہلی شخص کے مشاہدہ کرنے والے کی حرکت اور تیسری شخص کے کیمرے کا مرکزی عنصر کا تعاقب، دونوں کنٹرول کیے جاتے ہیں؛ مختلف نقطۂ نظر کے لیے الگ کنٹرولر ڈیزائن کرنے کی ضرورت نہیں۔
طویل مدتی تسلسل: آٹو ریگریسو پوسٹ ٹریننگ اور sink-plus-FIFO کیش میکانزم کے ذریعے صارف پچھلے مرحلے کے اختتامی آڈیو ویژول سیاق کی بنیاد پر کئی مراحل تک دریافت جاری رکھ سکتا ہے، جبکہ منظر، مرکزی عناصر اور آواز طویل وقت تک اپنی درستگی برقرار رکھتے ہیں۔
جائزے میں برتری: WBench Navigation جائزے میں اوسط اسکور 81.7 کے ساتھ پہلا مقام حاصل کیا، اور صارفین کی مجموعی ترجیح LingBot-World-v2 اور HappyOyster کے مقابلے میں نمایاں طور پر بہتر رہی۔

پروجیکٹ کی سرکاری ویب سائٹ: https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/wm/
GitHub ریپوزٹری: https://github.com/jd-opensource/JoyAI-Echo
arXiv تکنیکی مقالہ: https://arxiv.org/pdf/2608.23189

گیم پروٹوٹائپ ڈیولپمنٹ: تخلیق کار تیار کردہ منظر میں داخل ہو کر کھیلتا ہے، مقامی ترتیب، راستے کے ڈیزائن اور کیمرہ تجربے کی جانچ کرتا ہے، پھر تیاری کی سمت کا فیصلہ کرتا ہے۔
انٹرایکٹو بیانیہ: کہانی صارف کے انتخاب کے مطابق شاخوں میں آگے بڑھتی اور مسلسل تیار ہوتی ہے، جو پہلے سے تیار مواد کی جگہ انٹرایکٹو ڈراموں اور ناولوں میں استعمال کی جا سکتی ہے۔
عمیق مواد: فلم اور اشتہاری مواد “دیکھنے” سے “داخل ہونے” میں تبدیل ہو جاتا ہے، جہاں ناظر منظر کی دنیا کو آزادانہ طور پر دریافت کر سکتا ہے۔
ورچوئل ٹور: عجائب گھروں، سیاحتی مقامات، جائیداد اور دیگر منظرناموں کی کم لاگت میں ڈیجیٹل سیر، جس کے لیے فریم بہ فریم ماڈلنگ ضروری نہیں۔
ڈیجیٹل انسان کی پرفارمنس: کردار کی آواز اور حرکت، اردگرد کے متحرک ماحول، کیمرے اور آواز کے ساتھ مل کر تیار ہوتی ہے، جو ورچوئل اینکرز اور ڈیجیٹل ملازمین کے لیے موزوں ہے۔