WorldSonus آپریشن میں

WorldSonus ہانگ کانگ یونیورسٹی آف سائنس اینڈ ٹیکنالوجی، Noiz AI، MetaX اور شنگھائی جیاؤ ٹونگ یونیورسٹی کے اشتراک سے جاری کیا گیا اسٹریمنگ ویڈیو ڈبنگ فریم ورک ہے۔ یہ ویڈیو اسٹریم کے ساتھ ساتھ جنریشن کرتا ہے اور ہر 100ms کے حصے میں 48kHz اسٹیریو آڈیو حقیقی وقت میں آؤٹ پٹ کرتا ہے۔ WorldSonus علّی AR ڈفیوژن آرکیٹیکچر اور 5 سیکنڈ کی Ring-KV کیش استعمال کرتا ہے، جس سے جنریشن کے دوران صوتی اثرات کے پرامپٹس کو بغیر رکاوٹ تبدیل کیا جا سکتا ہے، جبکہ بائیں اور دائیں چینلز منظر کے صوتی ذرائع کی سمت اور کیمرے کی حرکت کے مطابق ڈھلتے ہیں۔ پانچ ٹیسٹ سیٹس میں آڈیو معیار AudioX، ThinkSound اور دیگر دو طرفہ آف لائن ماڈلز سے واضح طور پر بہتر ہے۔

حقیقی وقت کی اسٹریمنگ ڈبنگ: ویڈیو اسٹریم کے ساتھ آڈیو جنریٹ اور آؤٹ پٹ ہوتا ہے؛ ہر 100ms کا حصہ صرف 41.2ms میں تیار ہوتا ہے، ویڈیو میموری کا استعمال مستقل رہتا ہے اور غیر محدود دورانیے تک اسٹریم کے ساتھ چل سکتا ہے۔
دورانِ عمل آواز میں تبدیلی: جنریشن کے دوران کسی بھی وقت متنی صوتی ہدایات تبدیل کریں؛ حالیہ حصے کی حد پر بغیر رکاوٹ سوئچ ہوتا ہے، سیشن کی حالت برقرار رہتی ہے اور تاریخی فریمز کو دوبارہ شمار کرنے کی ضرورت نہیں ہوتی۔
فضائی اسٹیریو آواز: 48kHz دو چینل آؤٹ پٹ، جس میں صوتی ذرائع کی سمت اور کیمرے کی حرکت بائیں اور دائیں چینلز میں حقیقی وقت میں ظاہر ہوتی ہے۔
ماڈیولر، پلگ اینڈ پلے: بصری بیک بون سے آزاد؛ صرف ”تیار شدہ ویڈیو فریمز“ وصول کرتا ہے اور کسی بھی ورلڈ ماڈل یا گیم انجن سے منسلک ہو سکتا ہے۔
اوپن ڈومین عمومی استعمال: انٹرایکٹو مناظر کے علاوہ VGGSound جیسے عمومی ویڈیوز پر بھی آڈیو معیار آف لائن دو طرفہ ماڈلز سے بہتر رہتا ہے۔

WeChat پر فالو کریں اور ”اوپن سورس“ کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
حصہ وار علّی اسٹریمنگ جنریشن (AR-Diffusion): آڈیو کو علّی اسٹیریو VAE کی مسلسل latent space میں انکوڈ کیا جاتا ہے؛ ہر 100ms کے لیے 3 latent فریم ہوتے ہیں۔ decoder-only Transformer ہر مرحلے میں صرف ”پچھلا آڈیو حصہ + موجودہ ویڈیو حصہ“ کے دو مجموعی tokens پڑھتا ہے۔ W=50 حصوں کی Ring-KV سرکلر کیش محدود میموری فراہم کرتی ہے، جبکہ ہلکا flow head rectified-flow مقصد کے ذریعے موجودہ حصے سے شور ختم کرتا ہے۔
دو زمانی پیمانوں پر بصری شرط: منجمد DINOv3 ہر فریم کو patch grid میں انکوڈ کرتا ہے اور حرکت پکڑنے کے لیے فریم فرق کی تصویر جوڑتا ہے؛ ہر فریم کو 1 token میں جمع کیا جاتا ہے۔ پھر 3 فریم tokens کو 1 حصے کے سطح کے semantic token میں جمع کر کے AR بیک بون کو دیا جاتا ہے تاکہ طویل مدتی تسلسل برقرار رہے، جبکہ 3 فریم کے aligned tokens بیک بون کو نظرانداز کرتے ہوئے براہِ راست flow head کو دیے جاتے ہیں تاکہ آڈیو اور تصویر کی ہم زمانی کے لیے باریک rendering ہو۔ اس طرح طویل مدتی منصوبہ بندی اور مقامی rendering الگ رہتے ہیں۔
ShiftNCE تربیتی مرحلے کی alignment distillation: منجمد Synchformer کو تربیتی استاد کے طور پر استعمال کرتے ہوئے contrastive learning کے ذریعے ہم زمانی کی صلاحیت AR hidden state میں منتقل کی جاتی ہے۔ مثبت نمونہ زمانی طور پر aligned window ہوتا ہے، جبکہ منفی نمونہ اسی ویڈیو کا چند حصوں سے shifted window ہوتا ہے؛ زیادہ مشابہت رکھنے والی shifted مثالوں کو false negative کے طور پر فلٹر کیا جاتا ہے۔ inference کے وقت کوئی اضافی لاگت نہیں؛ اسے ہٹانے پر DeSync، 0.831 سے بگڑ کر 1.067 ہو جاتا ہے۔
وقت کے ساتھ بدلتے پرامپٹ کی scheduling اور in-place پرامپٹ کنٹرول: پرامپٹ کو T5Gemma 2 کے ذریعے token set میں کمپریس کر کے cross-attention میں کیش کیا جاتا ہے۔ دورانِ عمل الفاظ تبدیل کرنے پر صرف حالیہ حصے کی حد پر یہ کیش in-place بدلی جاتی ہے؛ Ring-KV اور بصری و صوتی حالت میں کوئی تبدیلی نہیں ہوتی۔ تربیت میں دورانِ عمل سوئچ، ہدایت واپس لینا اور ہدایت شامل کرنا جیسی چار time-varying schedulings شامل کی جاتی ہیں، جس سے ماڈل بغیر رکاوٹ منتقلی سیکھتا ہے۔

ماحول کی تیاری: Python 3.10+، CUDA GPU، FFmpeg/ffprobe تیار کریں اور یقینی بنائیں کہ GPU ڈرائیور نصب ہے۔
کوڈ حاصل کریں: git clone https://github.com/NoizAI/WorldSonus.git چلائیں اور پروجیکٹ ڈائریکٹری میں داخل ہوں۔
انحصارات نصب کریں: bash scripts/setup.sh .venv چلائیں، جو CUDA 12.4 ورژن والا PyTorch خودکار طور پر نصب کرے گا، پھر source .venv/bin/activate اور pip install -e '.[features]' چلائیں۔
مرکزی ماڈل کے weights ڈاؤن لوڈ کریں: WorldSonus weights حاصل کرنے کے لیے python scripts/download_model.py --output assets چلائیں۔
انکوڈرز ڈاؤن لوڈ کریں: DINOv3 اور T5Gemma 2 حاصل کرنے کے لیے python scripts/download_encoders.py --output assets چلائیں۔
آف لائن مکمل ویڈیو ڈبنگ: python -m worldsonus.infer --video input.mp4 --prompt "صوتی اثرات کی وضاحت" --output output.wav چلائیں۔ یہ خودکار طور پر feature extraction، generation اور decoding مکمل کر کے 48kHz اسٹیریو WAV آؤٹ پٹ کرتا ہے۔
اختیاری پیرامیٹرز: ویڈیو ونڈو کاٹنے کے لیے --start 5 --seconds 10 استعمال کریں، یا صرف ویڈیو کی شرط پر جنریشن کے لیے --prompt چھوڑ دیں۔
حقیقی وقت کی اسٹریمنگ جنریشن: آڈیو کو حصوں میں incrementally جنریٹ کرنے کے لیے --stream شامل کریں۔
جنریشن کے ساتھ پلے بیک: --stream --pcm-stdout شامل کریں، تاکہ خام PCM کو پائپ کے ذریعے براہِ راست ffplay -f f32le -ar 48000 -ac 2 -i - -nodisp -autoexit تک بھیج کر فوری سماعت ممکن ہو۔

اسٹریمنگ علّی آرکیٹیکچر: 100ms کے حصوں میں، ہر حصہ صرف 41.2ms میں حقیقی وقت کا آڈیو تیار کرتا ہے؛ ویڈیو میموری مستقل رہتی ہے اور غیر محدود اسٹریم ممکن ہے۔
دورانِ عمل پرامپٹ کی تبدیلی: جنریشن کے دوران کسی بھی وقت صوتی ہدایات کو بغیر رکاوٹ تبدیل کیا جا سکتا ہے؛ حالت برقرار رہتی ہے اور تاخیر حقیقی وقت کی حد میں رہتی ہے۔
فضائی اسٹیریو آواز: 48kHz دو چینل آؤٹ پٹ، جس میں صوتی ذرائع کی سمت اور کیمرے کی حرکت حقیقی وقت میں ہم آہنگ رہتی ہے۔
ماڈیولر اور آسان انضمام: صرف تیار شدہ ویڈیو فریمز وصول کرتا ہے اور کسی بھی ورلڈ ماڈل یا گیم انجن سے منسلک ہو سکتا ہے۔
آڈیو معیار آف لائن ماڈلز سے بہتر: پانچ ٹیسٹ سیٹس میں FAD سمیت تمام اشاریوں پر مکمل ویڈیو دیکھنے والے دو طرفہ baseline سے بہتر نتائج۔
طویل مدتی استحکام: 5 سیکنڈ کی Ring-KV کیش کے ساتھ 30 سیکنڈ تک مسلسل جنریشن میں drift یا collapse نہیں ہوتا۔

پروجیکٹ ویب سائٹ: https://noizai.github.io/WorldSonus/
GitHub ریپوزٹری: https://github.com/NoizAI/WorldSonus
HuggingFace ماڈل ریپوزٹری: https://huggingface.co/FF2416/WorldSonus
arXiv تکنیکی مقالہ: https://arxiv.org/abs/2610.08760

ورلڈ ماڈلز اور گیم انجنز کے لیے حقیقی وقت کی ڈبنگ: GameGen-X، LingBot-World 2.0 جیسے انٹرایکٹو ورلڈ ماڈلز اور گیم انجنز کے بصری اسٹریم کے لیے حقیقی وقت میں ماحولیاتی آواز تیار کریں؛ تصویر جہاں جائے، آواز بھی وہیں ساتھ چلے۔
ورچوئل لائیو اسٹریمنگ اور ڈیجیٹل انسان: لائیو ویڈیو کے ساتھ آواز بھی تیار اور ہم وقت ہوتی ہے؛ میزبان دورانِ عمل صوتی یا متنی ہدایات کے ذریعے صوتی اثرات فوری تبدیل کر سکتا ہے، نشریات روکنے یا دوبارہ ریکارڈ کرنے کی ضرورت نہیں۔
طویل ویڈیوز کے ساتھ ساتھ موسیقی کی جنریشن: فلمی ٹریلرز اور AI سے تیار کردہ طویل ویڈیوز میں مکمل rendering کا انتظار کیے بغیر 48kHz اسٹیریو ساؤنڈ ٹریک حصوں میں تیار کریں، جس سے پوسٹ پروڈکشن کا دورانیہ نمایاں طور پر کم ہوتا ہے۔
VR/AR اور simulation training ماحول: ورچوئل simulation، خودکار ڈرائیونگ کی تربیت اور فوجی مشقوں جیسے ماحول میں متحرک زاویے والے ویڈیو اسٹریم کے لیے کیمرے کے مطابق فضائی آڈیو تیار کریں، جس سے immersion اور تربیت کی حقیقت پسندی بہتر ہوتی ہے۔
ایجنٹس اور روبوٹس کی ادراک صلاحیت: embodied agents کو حقیقی وقت کے audio-visual synchronized signals فراہم کریں، تاکہ وہ بصری input کے ساتھ اسٹیریو ماحولیاتی feedback حاصل کر سکیں اور navigation و interaction کے فیصلوں میں مدد ملے۔