HelixWorld آپریشن میں

HelixWorld، Noiz AI اور ہانگ کانگ یونیورسٹی آف سائنس اینڈ ٹیکنالوجی کا مشترکہ اوپن سورس ریئل ٹائم انٹرایکٹو آڈیو ویژول ورلڈ ماڈل ہے۔ ماڈل کو ایک ابتدائی تصویر اور متنی وضاحت دیں، پھر WASD اور تیر والے بٹنوں کے ذریعے AI سے تیار کردہ دنیا میں چل پھر سکتے ہیں اور سر گھما سکتے ہیں۔ منظر اور عمیق مقامی صوتی اثرات بیک وقت ریئل ٹائم میں تیار ہوتے ہیں، جبکہ آواز کا مقام نظر کے زاویے کے ساتھ قدرتی طور پر تبدیل ہوتا ہے۔ HelixWorld کو LTX-2.3 کی بنیاد پر بنایا گیا ہے اور اس کی تربیت میں ”دو طرفہ استاد + کازل ڈسٹلیشن“ طریقہ استعمال کیا گیا ہے۔ ایک H800 GPU پر یہ 768×512 ریزولوشن اور 24 FPS کے ساتھ ریئل ٹائم جنریشن انجام دے سکتا ہے۔ اس کے ساتھ HelixBench بینچ مارک بھی جاری کیا گیا ہے، جو خاص طور پر مقامی صوتی مطابقت کا جائزہ لیتا ہے۔

ریئل ٹائم انٹرایکٹو دنیا کی تخلیق: ابتدائی تصویر اور متنی وضاحت دیں اور AI سے تیار کردہ دنیا میں آزادانہ طور پر دریافت کریں۔
کی بورڈ/حرکت کے ذریعے کنٹرول: WASD سے حرکت اور تیر والے بٹنوں سے نظر کا زاویہ تبدیل کریں؛ منظر آپ کے اشاروں پر فوری ردِعمل دیتا ہے۔
مقامی آڈیو ویژول کی مشترکہ تخلیق: ویڈیو اور سٹیریو آڈیو بیک وقت تیار ہوتے ہیں، بعد میں ڈبنگ نہیں کی جاتی۔
مقامی صوتی مطابقت: آواز کا مقام کیمرے کے گھومنے کے ساتھ قدرتی طور پر تبدیل ہوتا ہے؛ مثلاً بائیں جانب موجود صوتی ماخذ کی سمت، مڑ کر اس کی طرف رخ کرنے پر، اسی کے مطابق بدل جاتی ہے۔
تین الگ پرامپٹ ٹریکس: ویڈیو، آڈیو، اور آڈیو ویژول مشترکہ وضاحتیں الگ الگ استعمال کرکے تخلیق کردہ مواد کو کنٹرول کریں۔
ریئل ٹائم ہموار تجربہ: ایک H800 GPU پر 768×512 ریزولوشن اور 24 FPS کے ساتھ ریئل ٹائم جنریشن۔

WeChat پر فالو کرکے ”اوپن سورس“ کا جواب دیں اور AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں۔
دو طرفہ استاد ماڈل کی پری ٹریننگ: پہلے ایک دو طرفہ آڈیو ویژول ڈفیوژن ماڈل کو استاد کے طور پر تربیت دی جاتی ہے۔ مسلسل 6-DoF کیمرہ ٹریجیکٹری کو PRoPE کے ذریعے بصری توجہ میں شامل کیا جاتا ہے، 81 اقسام کی مجرد حرکات AdaLN-Zero کے ذریعے ڈفیوژن ٹائم سٹیپ کو متاثر کرتی ہیں، جبکہ کراس ماڈل توجہ کیمرہ حرکت کو آڈیو شاخ تک منتقل کرتی ہے، جس سے آواز میں قدرتی سٹیریو امیج تبدیلی پیدا ہوتی ہے۔
کازل ڈسٹلیشن کے ذریعے ریئل ٹائم کارکردگی: استاد ماڈل کو کم مراحل والے کازل طالب علم ماڈل میں ڈسٹل کیا جاتا ہے۔ ویڈیو لیٹنٹ اور آڈیو ٹوکنز کو بلاکس میں پروسیس کیا جاتا ہے؛ بلاک کے اندر دو طرفہ توجہ اور بلاکس کے درمیان KV cache کے ذریعے کازل کنکشن قائم ہوتا ہے۔ ODE initialization کے ساتھ طالب علم ماڈل 4 مراحل میں denoising مکمل کرسکتا ہے، جس سے ریئل ٹائم inference ممکن ہوتا ہے۔
آن لائن ٹریجیکٹری ڈسٹلیشن سے drift میں کمی: آٹو ریگریسو طویل مدتی جنریشن میں غلطیوں کے جمع ہونے کے مسئلے کے لیے، تربیت کے دوران استاد کے Probability Flow ODE کے اختتامی نقطے کو طالب علم کے velocity field کی نگرانی کے ہدف کے طور پر استعمال کیا جاتا ہے۔ اسے distribution matching loss (DMD) کے ساتھ تصادفی طور پر باری باری استعمال کیا جاتا ہے، تاکہ جنریشن کی تنوع اور طویل مدتی استحکام دونوں برقرار رہیں۔
طویل مدتی اسٹریمنگ fine-tuning: sliding-window KV cache کے ذریعے طویل سلسلوں کو مرحلہ وار پھیلانے کی تربیت کی جاتی ہے، sink frames کے anchors برقرار رکھے جاتے ہیں اور تاریخی gradients کو truncate کیا جاتا ہے۔ تقریباً ایک منٹ کے طویل سلسلے کی fine-tuning کے ساتھ طویل جنریشن کے دوران منظر کے drift اور آواز کی تنزلی میں مزید کمی آتی ہے۔

طریقہ اول: آن لائن تجربہ۔ https://helixworld.org کھولیں اور نمونہ تصویر منتخب کریں یا اپنی تصویر اپ لوڈ کریں۔
منظر کی متنی وضاحت درج کریں۔
دنیا میں داخل ہونے کے بعد WASD سے حرکت کریں، تیر والے بٹنوں سے نظر کا زاویہ تبدیل کریں اور تیار کردہ مواد کو ریئل ٹائم میں دریافت کریں۔
عمل کے دوران آپ پرامپٹ کو کسی بھی وقت تبدیل کرکے بعد میں تیار ہونے والے منظر کو ایڈجسٹ کرسکتے ہیں۔
طریقہ دوم: مقامی تعیناتی۔ ماحول کی تیاری: Linux سسٹم، Python 3.11، CUDA 12.x، NVIDIA GPU، تجویز کردہ 80GB VRAM، ffmpeg اور ffprobe۔
پروجیکٹ ڈاؤن لوڈ کرکے dependencies انسٹال کریں: git clone https://github.com/NoizAI/HelixWorld.git، conda ماحول بنائیں، پھر pip install -r requirements.txt چلائیں۔
ماڈل کے weights ڈاؤن لوڈ کرنے کے لیے python download_models.py چلائیں۔
ایک ابتدائی تصویر تیار کریں، پھر ./run.sh کے ذریعے تصویر، ویڈیو/آڈیو/مشترکہ پرامپٹس، ایکشن sequence اور دیگر parameters متعین کریں۔ MP4 آؤٹ پٹ outputs ڈائریکٹری میں تیار ہوگا۔

پہلا اوپن سورس ریئل ٹائم انٹرایکٹو آڈیو ویژول ورلڈ ماڈل: صارف کے کنٹرول کے تحت منظر اور مقامی سٹیریو آواز مشترکہ طور پر ریئل ٹائم میں تیار ہوتے ہیں، جبکہ کوڈ اور weights مکمل طور پر اوپن سورس ہیں۔
حقیقی ”سر گھمائیں، آواز بدل جائے“ تجربہ: آواز کا مقام نظر کے زاویے کی گردش کی سختی سے پیروی کرتا ہے، اور مقامی مطابقت کا اسکور ہم نوع ماڈلز سے کئی گنا زیادہ ہے۔
ایک GPU پر ریئل ٹائم: ایک H800 پر 24 FPS اور RTF 0.77 کے ساتھ ریئل ٹائم جنریشن، جو ہم نوع ماڈلز سے 2.5 گنا سے زیادہ تیز ہے۔
طویل جنریشن میں drift نہیں: آن لائن ٹریجیکٹری ڈسٹلیشن اور طویل مدتی fine-tuning کے ذریعے 30 سیکنڈ سے زیادہ مسلسل جنریشن میں منظر اور آواز مستحکم رہتے ہیں، جبکہ تنوع کم ہونے کے بجائے بڑھتا ہے۔
آڈیو معیار میں واضح برتری: HelixBench کے بنیادی اشاریوں میں مجموعی طور پر بہترین نتائج؛ صارفین کے blind test میں آڈیو والے مناظر کے لیے 67.9% ترجیحی شرح کے ساتھ حریفوں پر واضح برتری۔

پروجیکٹ کی ویب سائٹ: https://helixworld.org/
GitHub repository: https://github.com/NoizAI/HelixWorld
arXiv تکنیکی مقالہ: https://arxiv.org/pdf/2609.38123

عمیق گیم پروٹوٹائپ: modeling اور game engine کے بغیر، صرف تصویر داخل کرکے ایسی کھلی دنیا تیار کریں جس میں چل پھر کر دریافت کیا جاسکے، اور گیم Demo کی تیاری کا دورانیہ نمایاں طور پر کم کریں۔
VR/AR ورچوئل اسپیس: فرسٹ پرسن منظر اور مقامی آڈیو کا امتزاج head-mounted devices کے لیے قدرتی طور پر موزوں ہے، اور ورچوئل نمائشی ہال یا digital twin ماحول تیزی سے تیار کیے جاسکتے ہیں۔
فلم اور اشتہارات کی پیشگی تیاری: ڈائریکٹر concept image اپ لوڈ کرکے منظر میں ”داخل“ ہوسکتا ہے اور آڈیو ویژول اثرات سن اور دیکھ سکتا ہے، یوں اصل فلم بندی سے پہلے کم لاگت میں shot language اور ماحول کے ڈیزائن کی جانچ کی جاسکتی ہے۔
AI ویڈیو کال/ورچوئل اینکر کا پس منظر: آواز اور تعامل کے مطابق متحرک پس منظر اور صوتی اثرات ریئل ٹائم میں تیار کرکے green screen اور جامد مواد کی جگہ لیں۔
Embodied intelligence کی تربیت اور simulation: ایک انٹرایکٹو دنیا کے simulator کے طور پر روبوٹس اور خودکار ڈرائیونگ کے لیے صوتی و بصری feedback والا کم لاگت تربیتی ماحول فراہم کرے، اور طبعی تعامل کے اصول سیکھنے میں مدد دے۔