WorldSonus চালু আছে

WorldSonus হলো হংকং ইউনিভার্সিটি অব সায়েন্স অ্যান্ড টেকনোলজি, Noiz AI, MetaX ও সাংহাই জিয়াও টং বিশ্ববিদ্যালয়ের যৌথভাবে ওপেন-সোর্স করা স্ট্রিমিং ভিডিও ডাবিং ফ্রেমওয়ার্ক। এটি ভিডিও স্ট্রিমের সঙ্গে সঙ্গে তৈরি করে এবং প্রতি 100ms-এ এক ব্লক করে 48kHz স্টেরিও অডিও রিয়েল টাইমে আউটপুট দেয়। WorldSonus causal AR diffusion architecture এবং 5 সেকেন্ডের Ring-KV cache ব্যবহার করে। ফলে তৈরির মাঝপথে শব্দ-প্রভাবের প্রম্পট নির্বিঘ্নে পরিবর্তন করা যায়, আর বাম ও ডান চ্যানেল দৃশ্যের শব্দের উৎসের অবস্থান ও ক্যামেরার গতিবিধি অনুসরণ করে। পাঁচটি টেস্ট সেটে অডিও মান AudioX, ThinkSoundসহ অন্যান্য bidirectional offline model-কে সামগ্রিকভাবে ছাড়িয়ে গেছে।

রিয়েল-টাইম স্ট্রিমিং ডাবিং: ভিডিও স্ট্রিম তৈরি হওয়ার সঙ্গে সঙ্গে অডিও আউটপুট হয়। প্রতি 100ms-এ এক ব্লক, প্রতিটি ব্লকের গণনা মাত্র 41.2ms; GPU মেমরি স্থির থাকে এবং সীমাহীন সময় ধরে স্ট্রিম অনুসরণ করা যায়।
মাঝপথে শব্দ পরিবর্তন: তৈরির সময় যেকোনো মুহূর্তে টেক্সটভিত্তিক শব্দ-প্রভাবের নির্দেশনা বদলানো যায়। সাম্প্রতিক ব্লক সীমায় নির্বিঘ্নে পরিবর্তন হয়, সেশনের অবস্থা হারায় না এবং আগের ফ্রেম পুনরায় গণনার প্রয়োজন হয় না।
স্থানিক স্টেরিও: 48kHz দ্বি-চ্যানেল আউটপুটে শব্দের উৎসের অবস্থান ও ক্যামেরার গতিবিধি রিয়েল টাইমে বাম ও ডান চ্যানেলে প্রতিফলিত হয়।
মডিউলার ও প্লাগ-অ্যান্ড-প্লে: ভিজ্যুয়াল ব্যাকবোন থেকে স্বাধীন। এটি শুধু ”ইতিমধ্যে তৈরি ভিডিও ফ্রেম” গ্রহণ করে, তাই যেকোনো world model বা game engine-এর সঙ্গে যুক্ত করা যায়।
উন্মুক্ত ডোমেনে সাধারণ ব্যবহার: ইন্টার‌্যাক্টিভ দৃশ্যের পাশাপাশি VGGSound-এর মতো সাধারণ ভিডিওতেও অডিও মান offline bidirectional model-কে ছাড়িয়ে যায়।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
ব্লকভিত্তিক causal streaming generation (AR-Diffusion): অডিওকে causal stereo VAE-এর continuous latent space-এ encode করা হয়, যেখানে প্রতি 100ms-এ 3টি latent frame থাকে। decoder-only Transformer প্রতিটি ধাপে শুধু ”আগের অডিও ব্লক+বর্তমান ভিডিও ব্লক”-এর দুটি aggregate token পড়ে। W=50 ব্লকের Ring-KV circular cache সীমিত মেমরি বজায় রাখে, এরপর হালকা flow head rectified-flow objective ব্যবহার করে বর্তমান ব্লকের noise দূর করে।
দুই সময়মাত্রার ভিজ্যুয়াল কন্ডিশন: স্থির DINOv3 প্রতিটি ফ্রেমকে patch grid-এ encode করে এবং গতি ধরতে frame difference map যুক্ত করে; প্রতিটি ফ্রেম 1টি token-এ aggregate হয়। এরপর 3টি frame token 1টি block-level semantic token-এ aggregate হয়ে AR backbone-এ long-range coherence বজায় রাখে। 3টি frame-aligned token backbone এড়িয়ে সরাসরি flow head-এ যায়, যা অডিও-ভিডিও সিঙ্ক্রোনাইজেশনের সূক্ষ্ম rendering নিয়ন্ত্রণ করে। এভাবে long-range planning ও local rendering আলাদা থাকে।
ShiftNCE training-time alignment distillation: স্থির Synchformer-কে training-time teacher হিসেবে ব্যবহার করে contrastive learning-এর মাধ্যমে synchronization capability AR hidden state-এ distill করা হয়। Positive sample হলো সময়-সামঞ্জস্যপূর্ণ window, negative sample হলো একই ভিডিওর কয়েক ব্লক সরানো window; উচ্চ-সাদৃশ্যের offset-কে false negative হিসেবে বাদ দেওয়া হয়। Inference-এর সময় কোনো অতিরিক্ত খরচ নেই; এটি বাদ দিলে DeSync 0.831 থেকে বেড়ে 1.067 হয়।
সময়-পরিবর্তনশীল prompt scheduling ও in-place prompt control: prompt T5Gemma 2-এর মাধ্যমে token set-এ সংকুচিত হয়ে cross-attention-এ cache হয়। মাঝপথে শব্দ পরিবর্তন করলে শুধু সাম্প্রতিক ব্লক সীমায় এই cache in-place প্রতিস্থাপিত হয়; Ring-KV এবং অডিও-ভিজ্যুয়াল state অপরিবর্তিত থাকে। প্রশিক্ষণে ইচ্ছাকৃতভাবে মাঝপথে switch, নির্দেশ প্রত্যাহার ও নির্দেশ যোগ করার চার ধরনের time-varying schedule যুক্ত করা হয়, ফলে মডেল নির্বিঘ্ন transition শিখে।

পরিবেশ প্রস্তুতি: Python 3.10+, CUDA GPU, FFmpeg/ffprobe প্রস্তুত করুন এবং GPU driver ইনস্টল করা আছে নিশ্চিত করুন।
কোড সংগ্রহ: git clone https://github.com/NoizAI/WorldSonus.git চালিয়ে project directory-তে প্রবেশ করুন।
নির্ভরতা ইনস্টল: bash scripts/setup.sh .venv চালান (স্বয়ংক্রিয়ভাবে CUDA 12.4 সংস্করণের PyTorch ইনস্টল হবে), তারপর source .venv/bin/activate এবং pip install -e '.[features]' চালান।
মূল মডেলের weight ডাউনলোড: python scripts/download_model.py --output assets চালিয়ে WorldSonus weight সংগ্রহ করুন।
Encoder ডাউনলোড: python scripts/download_encoders.py --output assets চালিয়ে DINOv3 ও T5Gemma 2 সংগ্রহ করুন।
অফলাইন পূর্ণ-দৈর্ঘ্য ডাবিং: python -m worldsonus.infer --video input.mp4 --prompt "音效描述文字" --output output.wav চালান। এটি স্বয়ংক্রিয়ভাবে feature extraction, generation ও decoding সম্পন্ন করে 48kHz stereo WAV আউটপুট দেবে।
ঐচ্ছিক প্যারামিটার: --start 5 --seconds 10 ব্যবহার করে ভিডিওর একটি অংশ নিন, অথবা --prompt বাদ দিয়ে শুধু ভিডিও-নির্ভর generation করুন।
স্ট্রিমিং রিয়েল-টাইম generation: --stream যোগ করলে অডিও ব্লকভিত্তিক incremental generation হবে।
তৈরির সঙ্গে সঙ্গে প্লে: --stream --pcm-stdout যোগ করে raw PCM পাইপের মাধ্যমে ffplay -f f32le -ar 48000 -ac 2 -i - -nodisp -autoexit-এ পাঠিয়ে তাৎক্ষণিক শুনতে পারবেন।

স্ট্রিমিং causal architecture: 100ms প্রতি ব্লক হিসেবে, প্রতিটি ব্লক মাত্র 41.2ms-এ রিয়েল টাইমে অডিও তৈরি করে; GPU মেমরি স্থির থাকে এবং সীমাহীন সময় স্ট্রিম অনুসরণ করা যায়।
মাঝপথে prompt পরিবর্তন: তৈরির সময় যেকোনো মুহূর্তে শব্দ-প্রভাবের নির্দেশনা নির্বিঘ্নে বদলানো যায়; state হারায় না এবং latency রিয়েল-টাইম সীমার মধ্যে থাকে।
স্থানিক স্টেরিও: 48kHz দ্বি-চ্যানেল আউটপুটে শব্দের উৎসের অবস্থান ও ক্যামেরার গতিবিধি রিয়েল টাইমে সামঞ্জস্যপূর্ণ থাকে।
মডিউলার ও সহজে সংযুক্ত: শুধু ইতিমধ্যে তৈরি ভিডিও ফ্রেম গ্রহণ করে, তাই যেকোনো world model বা game engine-এর সঙ্গে যুক্ত করা যায়।
অফলাইন মডেলের চেয়েও উন্নত অডিও মান: পাঁচটি টেস্ট সেটে FADসহ বিভিন্ন মেট্রিকে সম্পূর্ণ ভিডিও দেখতে পারে এমন bidirectional baseline-কে ছাড়িয়ে যায়।
দীর্ঘমেয়াদি স্থিতিশীলতা: 5 সেকেন্ডের Ring-KV cache ব্যবহার করে 30 সেকেন্ড পর্যন্ত ধারাবাহিক generation-এ drift বা collapse হয় না।

প্রকল্পের ওয়েবসাইট: https://noizai.github.io/WorldSonus/
GitHub repository: https://github.com/NoizAI/WorldSonus
HuggingFace model repository: https://huggingface.co/FF2416/WorldSonus
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/abs/2610.08760

World model ও game engine-এ রিয়েল-টাইম ডাবিং: GameGen-X, LingBot-World 2.0-এর মতো interactive world model এবং game engine-এর video stream-এর জন্য রিয়েল টাইমে পরিবেশের শব্দ তৈরি করে; দৃশ্য যেখানে যায়, শব্দও সেখানে অনুসরণ করে।
ভার্চুয়াল লাইভস্ট্রিম ও digital human: লাইভস্ট্রিমের দৃশ্য তৈরির সঙ্গে সঙ্গে শব্দও synchronized হয়।主播 মাঝপথে voice/text instruction দিয়ে তাৎক্ষণিকভাবে শব্দ-প্রভাব বদলাতে পারেন, সম্প্রচার থামিয়ে পুনরায় রেকর্ড করার প্রয়োজন নেই।
দীর্ঘ ভিডিও স্ট্রিমের সঙ্গে সঙ্গে সঙ্গীত: movie trailer, AI-generated long video ইত্যাদিতে পুরো rendering শেষ হওয়ার অপেক্ষা না করে ধাপে ধাপে 48kHz stereo soundtrack তৈরি করা যায়, ফলে post-production সময় উল্লেখযোগ্যভাবে কমে।
VR/AR ও simulation training environment: virtual simulation, autonomous driving training, military exerciseসহ বিভিন্ন পরিবেশে dynamic viewpoint-এর video stream-এর জন্য camera-aligned spatial audio তৈরি করে immersion ও training realism বাড়ায়।
Agent/robot perception: embodied agent-কে real-time audio-visual synchronization signal দেয়, যাতে visual input-এর পাশাপাশি stereo environmental feedback পায় এবং navigation ও interaction decision-এ সহায়তা করে।