HelixWorld خدام

HelixWorld هو موديل مفتوح المصدر للعالم السمعي البصري التفاعلي فالوقت الحقيقي، طوّراتو Noiz AI بشراكة مع جامعة هونغ كونغ للعلوم والتكنولوجيا. كتعطي الموديل صورة بداية ووصف مكتوب، وكتقدر تمشي وتدور راسك فالعالم اللي كيولّدو الذكاء الاصطناعي باستعمال WASD ومفاتيح الاتجاه. الصورة والمؤثرات الصوتية المجسمة كيتولدو فالحين وبالتزامن، والصوت كيتبدل طبيعيا مع زاوية الرؤية. مبني HelixWorld على LTX-2.3، وكيستعمل تدريب «أستاذ ثنائي الاتجاه + تقطير سببي». فبطاقة H800 وحدة، كيقدر يولّد فالحين بدقة 768×512 وبسرعة 24 FPS. وتطلق حتى معيار HelixBench المخصص لتقييم الانسجام الصوتي المكاني.

توليد عوالم تفاعلية فالوقت الحقيقي: دخل صورة البداية ووصف مكتوب، واستكشف بحرية العالم اللي كيولّدو الذكاء الاصطناعي.
التحكم بالكيبورد والحركة: WASD كيتحكم فالتنقل، ومفاتيح الاتجاه كتبدل زاوية الرؤية، والصورة كتجاوب مباشرة مع كل حركة.
توليد سمعي بصري أصلي ومشترك: الفيديو والصوت المجسم كيتولدو فالتزامن، وماشي صوت مضاف من بعد.
الانسجام الصوتي المكاني: مصدر الصوت كيتبدل طبيعيا مع دوران الكاميرا؛ مثلا، إلا كان مصدر الصوت فاليسار ودرتي راسك باش تواجه الجهة المقابلة، كيتبدل اتجاه الصوت معاك.
مطالبات مفصولة على ثلاثة مسارات: وصف مستقل للفيديو، وللصوت، وللصوت والفيديو مجموعين للتحكم فالمحتوى المولّد.
تجربة سلسة فالوقت الحقيقي: توليد بدقة 768×512 وبسرعة 24 FPS باستعمال بطاقة H800 وحدة.

تبّع الحساب فـ WeChat وكتب «开源» فالرد، باش تنضم لمجموعة مشاريع الذكاء الاصطناعي مفتوحة المصدر.
التدريب المسبق لموديل أستاذ ثنائي الاتجاه: كيتدرّب أولا موديل انتشار سمعي بصري ثنائي الاتجاه باش يكون هو الأستاذ. كيتحقنو مسارات الكاميرا المستمرة بـ 6-DoF فـ الانتباه البصري باستعمال PRoPE، وكتعدّل 81 فئة من الحركات خطوات الانتشار الزمنية عبر AdaLN-Zero. والانتباه بين الأنماط كينقل حركة الكاميرا لفرع الصوت، وكيخلي الصورة الصوتية المجسمة تتبدل بشكل طبيعي.
التقطير السببي باش يولي التوليد فالوقت الحقيقي: كيتقطر موديل الأستاذ لموديل طالب سببي كيدير عدد قليل من الخطوات. كيتعالجو المتغيرات الكامنة ديال الفيديو ومرموزات الصوت على شكل كتل؛ الانتباه داخل الكتلة ثنائي الاتجاه، والربط بين الكتل سببي باستعمال KV cache. ومع تهيئة ODE، كيقدر الطالب يكمل إزالة الضجيج فـ 4 خطوات، باش يحقق متطلبات الاستدلال فالوقت الحقيقي.
تقطير المسار عبر الإنترنت للحد من الانحراف: لمعالجة تراكم الأخطاء فالتوليد الذاتي طويل المدى، كيتستعمل فالتدريب الطرف النهائي ديال Probability Flow ODE ديال الأستاذ للإشراف على مجال سرعة الطالب. وكيتم التناوب عشوائيا بينو وبين خسارة مطابقة التوزيع DMD، باش يتجمعو تنوع التوليد والاستقرار على المدى الطويل.
ضبط دقيق متدفق طويل المدى: كيتدرّب التسلسل الطويل على مراحل باستعمال KV cache بنافذة منزلقة، مع الاحتفاظ بإطارات sink كمرساة وقطع التدرجات التاريخية. ومع ضبط دقيق لتسلسلات كتقرب لدقيقة، كينقص أكثر انجراف الصورة وتدهور الصوت فالتوليد الطويل.

الطريقة الأولى: التجربة أونلاين. حل الموقع الرسمي https://helixworld.org واختار صورة من الأمثلة أو طلّع صورة ديالك.
كتب وصف المشهد.
منين تدخل للعالم، استعمل WASD للتنقل ومفاتيح الاتجاه لتدوير زاوية الرؤية، واستكشف المحتوى المتولّد فالوقت الحقيقي.
وتقدر حتى تبدل المطالبة فـ أي وقت أثناء التشغيل باش تعدل المشاهد اللي غادي تتولد من بعد.
الطريقة الثانية: التثبيت محليا. المتطلبات: نظام Linux، وPython 3.11، وCUDA 12.x، وبطاقة NVIDIA، وكيُنصح بذاكرة VRAM ديال 80GB، بالإضافة إلى ffmpeg وffprobe.
حمّل المشروع وثبّت الاعتماديات: git clone https://github.com/NoizAI/HelixWorld.git، ومن بعد أنشئ بيئة conda ونفّذ pip install -r requirements.txt.
شغّل python download_models.py لتحميل أوزان الموديل.
وجد صورة بداية، واستعمل ./run.sh لتحديد الصورة ومطالبات الصورة والصوت والمشترك بينهما، وتسلسل الحركات وغيرها من المعاملات. غادي يتخرّج ملف MP4 فمجلد outputs.

أول موديل مفتوح المصدر لعالم سمعي بصري تفاعلي فالوقت الحقيقي: الصورة والصوت المجسم المكاني كيتولدو مجموعين وفالحين مع تحكم المستخدم، والكود والأوزان مفتوحين بالكامل.
«دور راسك يتبدل الصوت»: الصورة الصوتية كتتبع دوران زاوية الرؤية بدقة، ونتيجة الانسجام المكاني أعلى بعدة مرات من النماذج المشابهة.
كيخدم فالوقت الحقيقي ببطاقة وحدة: H800 وحدة كتنتج 24 FPS وبـ RTF 0.77، بسرعة كتفوق النماذج المشابهة بأكثر من 2.5 مرة.
توليد طويل بلا انجراف: تقطير المسار عبر الإنترنت مع الضبط الدقيق طويل المدى كيخلي الصورة والصوت مستقرين حتى فالتوليد المتواصل لأكثر من 30 ثانية، مع تنوع كيزيد وما كينقصش.
جودة الصوت متقدمة بشكل شامل: HelixBench كيتصدر جميع المؤشرات الأساسية، وفاختبار تفضيل أعمى للمستخدمين تغلب على المنافسين بنسبة تفضيل 67.9% فالمشاهد اللي فيها الصوت.

الموقع الرسمي للمشروع: https://helixworld.org/
مستودع GitHub: https://github.com/NoizAI/HelixWorld
البحث التقني على arXiv: https://arxiv.org/pdf/2609.38123

نماذج أولية لألعاب غامرة: بلا حاجة للنمذجة ولا لمحرك ألعاب، كتدخل صورة وكيولد عالم مفتوح قابل للمشي والاستكشاف، وكيختصر بزاف مدة تطوير النسخة التجريبية ديال اللعبة.
فضاءات افتراضية للـ VR/AR: منظور الشخص الأول مع الصوت المكاني مناسبين بطبيعتهم لأجهزة الواقع الممتد، وكيخليو توليد قاعات عرض افتراضية وبيئات توأم رقمي بسرعة.
المعاينة المسبقة للأفلام والإعلانات: المخرج كيطلع صورة مفاهيمية ويقدر «يدخل» للمشهد ويسمع ويشوف النتيجة، باش يختبر لغة اللقطات وتصميم الجو بتكلفة قليلة قبل التصوير الحقيقي.
خلفيات مكالمات الفيديو بالذكاء الاصطناعي والمذيعين الافتراضيين: توليد خلفية ديناميكية ومؤثرات صوتية مناسبة بشكل فوري حسب الصوت والتفاعل، عوض الشاشة الخضراء والمواد الثابتة.
تدريب ومحاكاة الذكاء المتجسد: كمحاكي لعالم تفاعلي، كيوفر للروبوتات والقيادة الذاتية بيئة تدريب منخفضة التكلفة فيها ردود فعل بصرية وسمعية، وكيعاون على تعلم قوانين التفاعل الفيزيائي.