EchoWM 運営中

EchoWMは京東探索研究院がオープンソースとして公開するインタラクティブ視聴覚世界モデルです。JoyAI-Echoのネイティブな音声・動画生成能力を継承し、ユーザーは一人称または三人称視点でAIが生成した世界をリアルタイムに移動・探索できます。映像、空間関係、環境音、音声は常に同期し、長時間にわたって一貫性を保ちます。統一カメラ意図インターフェースと世界データエンジンを用いて訓練され、WBenchナビゲーション評価では平均81.7点で首位となりました。

リアルタイムに探索可能な世界の生成：WASD方向キーでAIが生成したシーン内を自由に移動、旋回、引き返しできます。操作に応じて世界がリアルタイムに展開します。
ネイティブな音声・動画同時生成：同一フレームワーク内で720p動画と環境音、音楽、人物の音声を同期生成し、映像の変化に合わせて音声が自然に継続します。
一人称・三人称のデュアル視点制御：一人称ではカメラが観察者とともに移動し、三人称ではカメラが人物や車両などの主体の動きを自動追従します。
マルチターンの長時間継続：前の音声・動画の末尾を次のラウンドのコンテキストとして使用し、複数回操作した後もシーンの配置、主体の外観、音声の一貫性を維持します。
WBenchナビゲーション評価で首位：158件のケースで平均81.7点を獲得し、一貫性とインタラクティブ性の両指標で上位となりました。

WeChatで「オープンソース」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
統一カメラ意図インターフェース：離散的なキーボード指令を初期姿勢に対する連続6-DoF軌道へマッピングし、カメラの移動方法を同一のインターフェースで表現します。一人称では観察者の動きを直接表し、三人称では「主体の移動―カメラの追従」という結合関係をデータからモデルが学習します。追加のキャラクター軌道やカメラプリセットパラメータは不要です。軌道は動画分岐にのみ注入され、音声は映像に連動します。
世界データエンジン：相互補完する4種類のデータソースを統合します。内部で収集したgameplay、人間による実プレイ映像、UEシミュレーション、一般的なインターネット動画を使用し、軌道の最大並進幅の90パーセンタイルをグローバルな「物差し」として統一正規化します。異なる軌道間の相対的な移動量の差異を保ち、区間ごとのスケーリングによる速度の急変を防ぎます。
段階的な4段階トレーニング：第1段階ではAV-richデータで音声・動画の継続事前学習を行います。第2段階ではバックボーンを凍結し、軽量な軌道分岐のみを学習して制御応答を強化します。第3段階では、制御の信頼性と視聴覚品質を兼ね備えたデータを用い、低い学習率で共同微調整します。第4段階では自己回帰後学習を行い、Teacher Forcingによって因果的なブロック生成へ改変します。短時間のSelf-Gradient Forcingを組み合わせて、モデル自身が生成した履歴に適応させた後、分布マッチング蒸留により4ステップサンプリングへ圧縮します。さらにsink-plus-FIFOキャッシュ機構により、制御KVのコストを抑えながら長時間のストリーミングインタラクションを実現します。

リポジトリをクローン：git cloneで github.com/jd-opensource/JoyAI-Echo をダウンロードし、echo_wm/ディレクトリに移動します（長時間動画プロジェクトのecho_longvideo/とは独立しています）。
環境を作成：conda create -n echo-wm python=3.11で独立環境を作成し、アクティベートします。
依存関係をインストール：まずPyTorch 2.9.1（cu128）をインストールし、その後pip install -r requirements.txtを実行します。torch.cuda.is_available()でGPUが利用可能か確認します。
モデルウェイトをダウンロード：hf download Echo-Team/Echo-WMでモデルcheckpointをダウンロードします。さらにGemma 3テキストエンコーダーも必要です（gatedリポジトリのため、先にHFページでライセンスに同意し、hf auth loginを実行してください）。
公式サンプルで検証：scripts/run_wm_case.py --case examples/wm_cases/0010などの内蔵完全ケースを実行し、環境設定に問題がないことを確認します。
カスタム生成：inference_wm.pyを実行し、初期フレーム画像、6フィールドのプロンプト、アクション列（Action DSL）を渡すと、音声付き動画を出力できます。
アクション指令を記述：Action DSLでカメラの動きを記述します。形式は<キー>-<フレーム数>で、カンマで接続します。w-60,a-60は60フレーム前進した後、60フレーム左へ移動することを表します。w/s/a/d/i/j/kの組み合わせに対応しています。

視聴覚の一体化：同一フレームワーク内で720p動画と環境音、音楽、音声をネイティブに同時生成します。音声は映像のシーンやイベントの変化に同期して変化し、多くの世界モデルにおける「映像は出力できても音声は出力できない」という問題を解決します。
統一制御インターフェース：単一の相対6-DoF軌道で、一人称の観察者の移動と三人称の主体に対するカメラ追従を同時に制御できます。視点ごとに個別のコントローラーを設計する必要はありません。
長時間の一貫性：自己回帰後学習とsink-plus-FIFOキャッシュ機構により、前ラウンド末尾の音声・動画コンテキストを基に、複数回にわたる探索を継続できます。シーン、主体、音声の一貫性を長時間維持します。
評価で首位：WBench Navigation評価で平均81.7点を獲得して首位となり、ユーザー調査での総合的な支持率はLingBot-World-v2およびHappyOysterを大きく上回りました。

プロジェクト公式サイト：https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/wm/
GitHubリポジトリ：https://github.com/jd-opensource/JoyAI-Echo
arXiv技術論文：https://arxiv.org/pdf/2608.23189

ゲームプロトタイプ開発：制作者が生成シーンに入り、空間配置、ルート設計、カメラ体験を試したうえで、制作方針を決定できます。
インタラクティブ・ナラティブ：ユーザーの選択に応じてストーリーを分岐・継続生成し、従来の事前制作素材に代わる形でインタラクティブドラマやインタラクティブ小説に活用できます。
没入型コンテンツ：映画や広告のコンテンツを「見る」ものから「入り込む」ものへ変え、視聴者が映像内の世界を自由に探索できます。
バーチャルツアー：博物館、観光地、不動産などのシーンを低コストでデジタル化して回遊できます。フレーム単位のモデリングは不要です。
デジタルヒューマンのパフォーマンス：人物の音声や動作を周囲の動的な環境、カメラ、音声と協調して生成し、バーチャル配信者やデジタル従業員に適しています。