WorldSonus 運営中

WorldSonusは、香港科技大学、Noiz AI、MetaX、上海交通大学が共同でオープンソース化したストリーミング動画ダビングフレームワークです。動画ストリームの生成と並行して、100ms単位で48kHzステレオ音声をリアルタイム出力します。WorldSonusは因果AR拡散アーキテクチャと5秒間のRing-KVキャッシュを採用し、生成途中でも音響プロンプトをシームレスに変更できます。左右チャンネルは、シーン内の音源位置とカメラの動きに追従します。5種類のテストセットにおいて、音質はAudioXやThinkSoundなどの双方向オフラインモデルを全面的に上回ります。

リアルタイムストリーミングダビング：動画ストリームの生成と同時に音声を出力します。100ms単位で、1ブロックの計算時間はわずか41.2ms。GPUメモリ使用量は一定で、時間制限なくストリームに追従できます。
生成途中での音声変更：生成中いつでもテキストによる音響指示を書き換えられ、直近のブロック境界でシームレスに切り替えられます。セッション状態は失われず、過去フレームの再計算も不要です。
空間ステレオ音声：48kHzのステレオ音声を出力し、音源の位置とカメラの動きを左右チャンネルにリアルタイムで反映します。
モジュール式で容易に統合：ビジュアルバックボーンから独立しており、「生成済みの動画フレーム」だけを受け取ります。任意のワールドモデルやゲームエンジンに接続できます。
オープンドメイン対応：インタラクティブなシーンだけでなく、VGGSoundなどの汎用動画でも音質がオフライン双方向モデルを上回ります。

WeChatで「オープンソース」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
ブロック分割による因果ストリーミング生成（AR-Diffusion）：音声を因果ステレオVAEの連続潜在空間にエンコードし、100msごとに3つのlatentフレームを対応させます。decoder-only Transformerは各ステップで「直前の音声ブロック＋現在の動画ブロック」の2つの集約トークンだけを読み込み、W=50ブロックのRing-KV循環キャッシュによってメモリを有限に保ちます。その後、軽量なflow headがrectified-flow目標で現在のブロックをデノイズします。
2つの時間スケールによる視覚条件付け：凍結したDINOv3で各フレームをパッチグリッドにエンコードし、フレーム差分画像を結合して動きを捉えます。各フレームは1つのトークンに集約され、3つのフレームトークンをさらに1つのブロックレベルの意味トークンに集約してARバックボーンに入力し、長期的な一貫性を保ちます。一方、3つのフレームアライメントトークンはバックボーンを迂回してflow headに直接入力し、音声と映像を同期させた細粒度のレンダリングを担います。これにより、長期計画と局所レンダリングを分離します。
ShiftNCEによる学習時アライメント蒸留：凍結したSynchformerを学習時の教師として用い、コントラスト学習によって同期能力をARの隠れ状態に蒸留します。正例は時間的に整列したウィンドウ、負例は同じ動画から数ブロックずらしたウィンドウとし、高類似度のずれは偽負例として除外します。推論時の追加コストはゼロで、これを除くとDeSyncは0.831から1.067へ悪化します。
時間変化するプロンプトのスケジューリングとインプレース制御：プロンプトをT5Gemma 2でトークン集合に圧縮し、cross-attentionにキャッシュします。途中で語句を変更する場合は、直近のブロック境界でこのキャッシュだけを置き換え、Ring-KVと視聴覚状態は維持します。学習時には途中変更、指示の撤回、指示の追加という4種類の時間変化するスケジュールを意図的に混在させ、モデルにシームレスな切り替えを学習させます。

環境の準備：Python 3.10+、CUDA対応GPU、FFmpeg/ffprobeを用意し、GPUドライバーがインストール済みであることを確認します。
コードの取得：git clone https://github.com/NoizAI/WorldSonus.git を実行し、プロジェクトディレクトリに移動します。
依存関係のインストール：bash scripts/setup.sh .venv を実行すると、CUDA 12.4版PyTorchが自動的にインストールされます。その後、source .venv/bin/activate と pip install -e '.[features]' を実行します。
メインモデルの重みをダウンロード：python scripts/download_model.py --output assets を実行してWorldSonusの重みを取得します。
エンコーダーのダウンロード：python scripts/download_encoders.py --output assets を実行してDINOv3とT5Gemma 2を取得します。
動画全体をオフラインでダビング：python -m worldsonus.infer --video input.mp4 --prompt "音效描述文字" --output output.wav を実行すると、特徴抽出、生成、デコードが自動的に行われ、48kHzステレオWAVが出力されます。
オプション：--start 5 --seconds 10 で動画の区間を切り出せます。--prompt を省略すれば、動画のみを条件とした生成になります。
ストリーミングリアルタイム生成：--stream パラメーターを追加すると、音声をブロック単位で逐次生成できます。
生成しながら再生：--stream --pcm-stdout を追加すると、raw PCMをパイプ経由でffplay -f f32le -ar 48000 -ac 2 -i - -nodisp -autoexit に直接送り、すぐに試聴できます。

因果ストリーミングアーキテクチャ：100ms単位で、1ブロックわずか41.2msで音声をリアルタイム生成します。GPUメモリ使用量は一定で、時間制限なくストリームに追従できます。
途中でのプロンプト変更：生成中いつでも音響指示をシームレスに置き換えられ、状態を失わず、遅延もリアルタイムの範囲内に収まります。
空間ステレオ音声：48kHzステレオ出力により、音源の位置とカメラの動きをリアルタイムで同期します。
モジュール式で統合が容易：生成済みの動画フレームだけを受け取り、任意のワールドモデルやゲームエンジンに接続できます。
オフラインモデルを上回る音質：完全な動画を参照できる双方向ベースラインに対し、5種類のテストセットでFADなどの指標が全面的に優れています。
長期的な安定性：5秒間のRing-KVキャッシュにより、30秒間連続生成してもドリフトや崩壊が発生しません。

公式サイト：https://noizai.github.io/WorldSonus/
GitHubリポジトリ：https://github.com/NoizAI/WorldSonus
HuggingFaceモデルリポジトリ：https://huggingface.co/FF2416/WorldSonus
arXiv技術論文：https://arxiv.org/abs/2610.08760

ワールドモデルとゲームエンジンのリアルタイムダビング：GameGen-X、LingBot-World 2.0などのインタラクティブなワールドモデルやゲームエンジンの映像ストリームに対して、環境音をリアルタイム生成します。映像が進む場所に音も追従します。
バーチャル配信とデジタルヒューマン：配信映像の生成と同時に音声を同期出力し、配信者は途中で音声またはテキストによる指示を出して音響を即座に変更できます。配信を停止して録り直す必要はありません。
長時間動画のストリーミング作曲：映画予告編やAI生成の長時間動画などで、全編のレンダリング完了を待たずに48kHzステレオ音楽をブロック単位で出力し、ポストプロダクションの期間を大幅に短縮します。
VR/ARとシミュレーション訓練環境：仮想シミュレーション、自動運転訓練、軍事演習などで、動的な視点の映像ストリームにカメラと同期した空間音声を生成し、没入感と訓練の現実性を高めます。
エージェントやロボットの知覚：身体性を持つエージェントにリアルタイムの視聴覚同期信号を提供し、視覚入力と同時にステレオ環境フィードバックを取得できるようにします。これにより、ナビゲーションやインタラクションの意思決定を支援します。