WorldSonus خدام

WorldSonus هو إطار مفتوح المصدر للدوبلاج ديال الفيديو بالبث، طوّراتو جامعة هونغ كونغ للعلوم والتكنولوجيا بشراكة مع Noiz AI وMetaX وجامعة جياو تونغ فشنغهاي. كيولّد الصوت مع تدفق الفيديو، وكيخرّج صوت ستيريو بجودة 48kHz فحزم ديال 100ms وبشكل فوري. كيعتمد WorldSonus على بنية سببية AR-Diffusion وعلى Ring-KV cache ديال 5 ثواني، وكيتيح تبديل تعليمات المؤثرات الصوتية بسلاسة وسط التوليد، مع توجيه القناتين اليسرى واليمنى حسب موقع مصادر الصوت فالمشهد وحركة الكاميرا. فجميع مستويات الاختبار الخمسة، تفوق جودة الصوت ديالو بشكل شامل نماذج AudioX وThinkSound وغيرها من النماذج الثنائية الاتجاه اللي كتخدم أوفلاين.

الدوبلاج بالبث الفوري: كيولّد الصوت وكيخرّجو مع تدفق الفيديو، فحزم ديال 100ms، والحساب ديال كل حزمة كياخذ غير 41.2ms، مع استهلاك ثابت للذاكرة وبث مستمر بلا حد زمني.
تبديل الصوت وسط التوليد: يمكن تبديل تعليمات المؤثرات الصوتية فالنص فـ أي وقت أثناء التوليد، والانتقال بسلاسة عند أقرب حد ديال حزمة، بلا ما تضيع حالة الجلسة وبلا إعادة حساب الإطارات السابقة.
ستيريو فضائي: كيخرّج صوت ثنائي القناة بجودة 48kHz، وكيعكس موقع مصدر الصوت وحركة الكاميرا فورياً فالقناتين اليسرى واليمنى.
موديولار وساهل فالدمج: مستقل على العمود الفقري البصري، وكيتلقى غير «إطارات الفيديو اللي تولّدات»، وكيقدر يتربط بأي نموذج للعالم أو محرك ألعاب.
صالح للمجالات المفتوحة: حتى خارج المشاهد التفاعلية، كيبقى الصوت متفوقاً على النماذج الثنائية الاتجاه اللي كتخدم أوفلاين ففيديوهات عامة بحال VGGSound.

تابعنا فـ WeChat وجاوب بـ «开源» باش تنضم لمجموعة مشاريع الذكاء الاصطناعي مفتوحة المصدر
التوليد السببي بالبث على شكل حزم (AR-Diffusion): كيتشفّر الصوت ففضاء كامن مستمر ديال VAE سببي ستيريو، وكل 100ms كيقابلو 3 إطارات latent؛ وTransformer من نوع decoder-only كيقرا فكل خطوة غير جوج ديال الرموز المجمّعة: «حزمة الصوت السابقة + حزمة الفيديو الحالية». وباستعمال Ring-KV cache دورية بذاكرة W=50 حزمة، كتتحقق ذاكرة محدودة، ومن بعد كينقّي flow head خفيف الحزمة الحالية باستعمال هدف rectified-flow.
شروط بصرية بجوج مقاييس زمنية: كيتجمّد DINOv3 وكيشفّر كل إطار على شكل شبكة patch، وكيجمع معاها خريطة الفرق بين الإطارات لالتقاط الحركة، ومن بعد كيتجمع كل إطار فـ رمز واحد؛ و3 رموز ديال الإطارات كيتجمعو فـ رمز دلالي واحد على مستوى الحزمة كيدخل للعمود الفقري AR باش يحافظ على الترابط بعيد المدى، بينما 3 رموز محاذاة ديال الإطارات كتدوز مباشرة للـ flow head بلا المرور من العمود الفقري، باش يتكلف بالرندر الدقيق المتزامن بين الصوت والصورة. هكذا كيتفصل التخطيط بعيد المدى على الرندر المحلي.
تقطير المحاذاة أثناء التدريب باستعمال ShiftNCE: كيتستعمل Synchformer المجمّد كأستاذ أثناء التدريب، وكيتم تقطير القدرة على التزامن فالحالة الخفية ديال AR بالتعلم التبايني؛ العينات الإيجابية هي نوافذ متزامنة زمنياً، والسلبية هي نوافذ من نفس الفيديو مزاحة بعدة حزم، مع تصفية العينات السلبية الكاذبة ذات الإزاحة والتشابه المرتفع. ما كاين حتى كلفة إضافية فمرحلة الاستدلال، ومنين كيتحيد هاد المكوّن كيتدهور DeSync من 0.831 إلى 1.067.
جدولة المطالبات المتغيرة زمنياً والتحكم فيها فمكانها: كتضغط T5Gemma 2 المطالبات فمجموعة ديال الرموز وكتخزنها فـ cross-attention؛ ومنين كتبدل الكلمات وسط التوليد، كيتبدل هاد التخزين فمكانو غير عند أقرب حد ديال الحزمة، بلا ما تتحرك Ring-KV ولا حالة السمع والبصر. أثناء التدريب كيدمج النموذج عمداً أربع جدولات متغيرة زمنياً: التبديل وسط التوليد، سحب التعليمة، إضافة التعليمة، وتغييرها، وبهذا كيتعلم الانتقالات السلسة.

تحضير البيئة: وجد Python 3.10+، وكارت شاشة CUDA، وFFmpeg/ffprobe، وتأكد باللي تعريفات GPU منصّبة.
جيب الكود: نفّذ git clone https://github.com/NoizAI/WorldSonus.git ودخل لمجلد المشروع.
نصّب الاعتماديات: شغّل bash scripts/setup.sh .venv باش يتنصّب PyTorch بإصدار CUDA 12.4 أوتوماتيكياً، ومن بعد نفّذ source .venv/bin/activate وpip install -e '.[features]'.
نزّل أوزان النموذج الرئيسي: شغّل python scripts/download_model.py --output assets باش تجيب أوزان WorldSonus.
نزّل الـ encoders: شغّل python scripts/download_encoders.py --output assets باش تجيب DINOv3 وT5Gemma 2.
دوبلاج أوفلاين للفيديو كامل: نفّذ python -m worldsonus.infer --video input.mp4 --prompt "وصف المؤثرات الصوتية" --output output.wav، وغادي يتم استخراج الخصائص والتوليد وفك الترميز أوتوماتيكياً، مع إخراج ملف WAV ستيريو بجودة 48kHz.
اختيارات إضافية: استعمل --start 5 --seconds 10 باش تقطع نافذة من الفيديو، أو حيد --prompt باش تدير توليداً مشروطاً بالفيديو فقط.
التوليد بالبث الفوري: زِد الخيار --stream باش يتولّد الصوت تدريجياً على شكل حزم.
التشغيل أثناء التوليد: زِد --stream --pcm-stdout باش يدوز PCM الخام عبر pipe مباشرة إلى ffplay -f f32le -ar 48000 -ac 2 -i - -nodisp -autoexit للاستماع الفوري.

بنية سببية بالبث: كيولّد الصوت فحزم ديال 100ms، وكيحتاج غير 41.2ms لكل حزمة، مع ذاكرة فيديو ثابتة وبث مستمر بلا حد زمني.
تبديل الكلمات وسط التوليد: يمكن تبديل تعليمات المؤثرات الصوتية بسلاسة فـ أي وقت أثناء التوليد، بلا ما تضيع الحالة وبلا ما يخرج التأخير من النطاق الفوري.
ستيريو فضائي: إخراج ثنائي القناة بجودة 48kHz، مع محاذاة فورية بين موقع مصدر الصوت وحركة الكاميرا.
موديولار وساهل فالدمج: كيتلقى غير إطارات الفيديو اللي تولّدات، وكيقدر يتربط بأي نموذج للعالم أو محرك ألعاب.
جودة صوت كتفوق النماذج اللي كتخدم أوفلاين: فمجموعات الاختبار الخمسة، المؤشرات بحال FAD كلها أحسن من خط الأساس الثنائي الاتجاه اللي كيقدر يشوف الفيديو كامل.
استقرار بعيد المدى: مع Ring-KV cache ديال 5 ثواني، كيمكن توليد 30 ثانية بشكل متواصل بلا انجراف ولا انهيار.

الموقع الرسمي للمشروع: https://noizai.github.io/WorldSonus/
مستودع GitHub: https://github.com/NoizAI/WorldSonus
مستودع النموذج فـ HuggingFace: https://huggingface.co/FF2416/WorldSonus
البحث التقني فـ arXiv: https://arxiv.org/abs/2610.08760

الدوبلاج الفوري ديال نماذج العالم ومحركات الألعاب: كيولّد الصوت البيئي مباشرة مع تدفق الصور ديال نماذج العالم التفاعلية ومحركات الألعاب بحال GameGen-X وLingBot-World 2.0، بحيث الصوت كيتبع الصورة لحظة بلحظة.
البث الافتراضي والشخصيات الرقمية: كيتزامن الصوت مع صورة البث أثناء التوليد، ويقدر المقدم يبدل المؤثرات الصوتية فورياً بتعليمات صوتية أو كتابية وسط البث، بلا ما يوقفو ولا يعاودو التسجيل.
الموسيقى مع تدفق الفيديوهات الطويلة: فمشاهد بحال إعلانات الأفلام والفيديوهات الطويلة المولّدة بالذكاء الاصطناعي، كيمكن إنتاج موسيقى ستيريو 48kHz على شكل حزم بلا انتظار حتى يكمل الرندر ديال الفيديو كامل، وهادشي كيقصر بزاف مدة ما بعد الإنتاج.
بيئات VR/AR والتدريب بالمحاكاة: فالمحاكاة الافتراضية، وتدريب القيادة الذاتية، والمناورات العسكرية وغيرها، كيولّد صوتاً فضائياً محاذياً للكاميرا مع تدفق الصور ديال المنظور المتغير، وكيزيد الإحساس بالاندماج وواقعية التدريب.
إدراك الوكلاء والروبوتات: كيوفّر للوكلاء المتجسدين إشارات سمعية وبصرية متزامنة فوريّاً، باش يحصلو على تغذية راجعة بيئية ستيريو بالتزامن مع المدخلات البصرية، وهادشي كيساعد فالملاحة واتخاذ قرارات التفاعل.