EchoWM خدام

EchoWM هو نموذج مفتوح المصدر للعالم السمعي البصري التفاعلي، طوّراتو معهد جينغدونغ للأبحاث الاستكشافية. النموذج كيحافظ على قدرات JoyAI-Echo الأصلية فإنتاج الصوت والصورة، وكيخلي المستخدم يتحرك ويستكشف فالعالم اللي كينتجو الذكاء الاصطناعي فالحين، بمنظور الشخص الأول أو الثالث، مع مزامنة مستمرة بين الصورة، والعلاقات المكانية، وأصوات البيئة، والكلام، بلا ما يخرج على المسار لمدة طويلة. تدرّب النموذج باستعمال واجهة موحّدة لنيات الكاميرا ومحرك لبيانات العالم، واحتل المرتبة الأولى بمتوسط 81.7 فاختبار الملاحة WBench.

توليد عوالم قابلة للاستكشاف فالحين: المستخدم يقدر يتحرك بحرية، يدور ويرجع فالمشاهد اللي كينتجها الذكاء الاصطناعي باستعمال مفاتيح الاتجاه WASD، والعالم كيتوسع مباشرة حسب الأوامر.
توليد أصلي ومشترك للصوت والصورة: كيتولد فيديو بدقة 720p، مع أصوات البيئة والموسيقى وكلام الشخصيات داخل نفس الإطار، وكيستمر الصوت بشكل طبيعي مع تغيّر الصورة.
التحكم من منظور الشخص الأول والثالث: فمنظور الشخص الأول كتتحرك الكاميرا بحال المراقب، ومنظور الشخص الثالث كتتبع الكاميرا أوتوماتيكياً حركة الشخصيات والسيارات وغيرها من العناصر الرئيسية.
استمرارية طويلة عبر جولات متعددة: كيتستعمل الجزء الأخير من الصوت والصورة السابقين كسياق للجولة الموالية، وكتبقى خريطة المشهد، ومظهر العناصر الرئيسية، والصوت منسجمين حتى من بعد عمليات متعددة.
الأول فاختبار الملاحة WBench: متوسط النتيجة 81.7 فـ158 حالة، مع احتلال مؤشرات الانسجام والتفاعلية مراكز متقدمة.

تابعونا فـWeChat وردّو بكلمة “开源” باش تنضمو لمجموعة مشاريع الذكاء الاصطناعي مفتوحة المصدر
واجهة موحّدة لنيات الكاميرا: كتحوّل أوامر لوحة المفاتيح المنفصلة لمسارات مستمرة من 6 درجات ديال الحرية (6-DoF) مقارنة مع الوضعية الأولية، وكتستعمل نفس الواجهة لوصف طريقة تحرك الكاميرا؛ فمنظور الشخص الأول كتمثل مباشرة حركة المراقب، ومنظور الشخص الثالث كيتعلم النموذج من البيانات العلاقة بين “حركة العنصر الرئيسي وتتبّع الكاميرا”، بلا حاجة لمسارات إضافية للشخصيات أو لإعدادات مسبقة للكاميرا. كما أن المسار كيتحقن غير ففرع الفيديو، بينما الصوت كيتحرك بالتزامن مع الصورة.
محرك بيانات العالم: كيدمج أربعة مصادر متكاملة للبيانات، وهي تسجيلات gameplay، وفيديوهات اللعب الحقيقي ديال البشر، ومحاكاة UE، وفيديوهات عادية من الإنترنت. من بعد كيتستعمل المئين 90 لأقصى إزاحة فالمسارات كمقياس عالمي للتطبيع الموحد، مع الحفاظ على الفروقات النسبية فالإزاحة بين المسارات المختلفة وتفادي القفزات فالسرعة الناتجة عن معايرة كل مقطع بوحدو.
تدريب تدريجي من أربع مراحل: فالمرحلة الأولى كتستعمل بيانات غنية سمعياً وبصرياً (AV-rich) للتدريب المسبق المستمر على الصوت والصورة؛ فالمرحلة الثانية كيتجمّد العمود الفقري وكيتم تدريب فرع المسارات الخفيف فقط لتقوية الاستجابة للتحكم؛ فالمرحلة الثالثة كيتدار ضبط مشترك بمعدل تعلم منخفض باستعمال بيانات كتجمع بين موثوقية التحكم وجودة السمع والصورة؛ فالمرحلة الرابعة كيتدار تدريب لاحق ذاتي الانحدار، وكيتم تحويل النموذج باستعمال Teacher Forcing لتوليد سببي على شكل كتل، مع Self-Gradient Forcing قصير المدى باش يتأقلم النموذج مع التاريخ اللي كينتجو بنفسو، ومن بعد كتستعمل عملية تقطير بمطابقة التوزيع لضغط التوليد إلى أربع خطوات، بالتزامن مع آلية التخزين المؤقت sink-plus-FIFO للتحكم فتكلفة KV ودعم التفاعل التدفقّي طويل المدى.

استنساخ المستودع: نزّل github.com/jd-opensource/JoyAI-Echo باستعمال git clone، ودخل للمجلد echo_wm/ (وهو مستقل على مشروع الفيديو الطويل echo_longvideo/).
إنشاء البيئة: أنشئ بيئة مستقلة باستعمال conda create -n echo-wm python=3.11 وفعّلها.
تثبيت الاعتماديات: ثبّت أولاً PyTorch 2.9.1 (cu128)، ومن بعد نفّذ pip install -r requirements.txt، واستعمل torch.cuda.is_available() للتأكد من أن بطاقة الرسوميات خدامة.
تحميل أوزان النموذج: استعمل hf download Echo-Team/Echo-WM لتحميل checkpoint ديال النموذج؛ خاصك كذلك تحمّل مشفّر النصوص Gemma 3، وهو مستودع gated، لذلك خاصك أولاً تقبل الترخيص فصفحة HF وتنفّذ hf auth login.
تشغيل المثال الرسمي للتحقق: شغّل scripts/run_wm_case.py --case examples/wm_cases/0010 وغيرها من الحالات الكاملة المدمجة، باش تتأكد من صحة إعداد البيئة.
التوليد المخصص: شغّل inference_wm.py، ومرّر صورة الإطار الأول + وصفاً من ستة حقول + سلسلة الحركات (Action DSL) لإخراج فيديو بالصوت.
كتابة أوامر الحركة: استعمل Action DSL لوصف حركة الكاميرا، بالصيغة <المفتاح>-<عدد الإطارات>، مفصولة بالفواصل، بحال w-60,a-60 اللي كتعني التقدم 60 إطار ومن بعد التحرك لليسار 60 إطار. كيدعم التركيبة w/s/a/d/i/j/k.

تكامل الصوت والصورة: كيتولد فيديو بدقة 720p مع أصوات البيئة والموسيقى والكلام بشكل أصلي ومشترك داخل نفس الإطار، وكيبدّل الصوت بالتزامن مع المشهد والأحداث، وكيحل مشكل أغلب نماذج العالم اللي “كتخرج الصورة بلا الصوت”.
واجهة موحّدة للتحكم: كتستعمل مساراً نسبياً من 6 درجات ديال الحرية (6-DoF) لتحريك المراقب فمنظور الشخص الأول وتتبع العنصر الرئيسي بالكاميرا فمنظور الشخص الثالث، بلا ما تكون حاجة لتصميم متحكمات مستقلة لكل منظور.
الانسجام طويل المدى: بفضل التدريب اللاحق الذاتي الانحدار وآلية التخزين المؤقت sink-plus-FIFO، يقدر المستخدم يكمل الاستكشاف عبر جولات متعددة اعتماداً على سياق الصوت والصورة فآخر الجولة السابقة، مع بقاء المشهد والعناصر الرئيسية والصوت منسجمين لمدة طويلة.
نتائج متقدمة فالتقييم: حصل على متوسط 81.7 واحتل المرتبة الأولى فاختبار WBench Navigation، كما كان التفضيل العام فدراسة المستخدمين أفضل بشكل واضح من LingBot-World-v2 وHappyOyster.

الموقع الرسمي للمشروع: https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/wm/
مستودع GitHub: https://github.com/jd-opensource/JoyAI-Echo
البحث التقني على arXiv: https://arxiv.org/pdf/2608.23189

تطوير نماذج أولية للألعاب: كيدخل المبدع للمشهد المتولّد وكيجربو، وكيقيّم توزيع الفضاء، وتصميم المسارات، وتجربة الكاميرا قبل ما يقرر اتجاه التطوير.
السرد التفاعلي: كتتقدم القصة وكتتولد باستمرار حسب الاختيارات ديال المستخدم، كبديل للمواد الجاهزة التقليدية، وكيصلح للمسلسلات والروايات التفاعلية.
المحتوى الغامر: كيتحوّل محتوى السينما والإعلانات من “المشاهدة” إلى “الدخول”، بحيث يقدر المتفرج يستكشف العالم اللي فالصورة بحرية.
الجولات الافتراضية: رقمنة منخفضة التكلفة لجولات المتاحف والمواقع السياحية والعقارات وغيرها، بلا حاجة للنمذجة إطاراً بإطار.
عروض الأشخاص الرقميين: كيتولد كلام الشخصيات وحركاتها والبيئة الديناميكية المحيطة والكاميرا والصوت بشكل منسق، وكيصلح للمؤثرين الافتراضيين والموظفين الرقميين.