HelixWorld 運営中

HelixWorldは、Noiz AIと香港科技大学が共同でオープンソース化した、リアルタイム・インタラクティブ音声・映像ワールドモデルです。モデルに開始画像とテキスト説明を与えると、WASDキーと方向キーでAIが生成した世界を歩き回り、視点を動かせます。映像と立体空間音響はリアルタイムで同期生成され、音像も視点に合わせて自然に変化します。HelixWorldはLTX-2.3を基盤に、「双方向教師モデル＋因果蒸留」方式で学習されており、1枚のH800 GPUで768×512解像度、24 FPSのリアルタイム生成を実現します。空間音響の一貫性を専門に評価するHelixBenchベンチマークも併せて公開されています。

リアルタイム・インタラクティブ世界生成：開始画像とテキスト説明を入力し、AIが生成した世界を自由に探索できます。
キーボード／アクション操作：WASDで移動し、方向キーで視点を調整できます。画面は操作に合わせて即座に反応します。
ネイティブ音声・映像同時生成：映像と立体音声を同期生成し、後付けの吹き替えではありません。
空間音響の一貫性：カメラの回転に合わせて音像が自然に変化します。たとえば左側の音源に背を向けると、音の方向もそれに応じて変わります。
3系統に分離されたプロンプト：映像、音声、音声・映像の統合説明をそれぞれ使って生成内容を制御します。
リアルタイムで滑らかな体験：1枚のH800 GPUで768×512解像度、24 FPSのリアルタイム生成を実現します。

WeChatでフォローし、「開源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
双方向教師モデルの事前学習：まず双方向音声・映像拡散モデルを教師モデルとして学習します。連続する6-DoFカメラ軌跡をPRoPEによって視覚アテンションに注入し、81種類の離散アクションでAdaLN-Zeroを介して拡散タイムステップを変調します。クロスモーダルアテンションによりカメラの動きを音声分岐へ伝え、音像が自然に立体的に変化するようにします。
因果蒸留によるリアルタイム化：教師モデルを少ステップの因果的な生徒モデルへ蒸留します。映像潜在変数と音声トークンをブロック単位で処理し、ブロック内では双方向アテンション、ブロック間ではKV cacheによる因果接続を行います。ODE初期化と組み合わせることで、生徒モデルは4ステップでノイズ除去を完了し、リアルタイム推論に対応します。
オンライン軌跡蒸留によるドリフト抑制：自己回帰型の長時間生成で生じる誤差の蓄積に対処するため、学習時には教師のProbability Flow ODEの終点を目標として生徒の速度場を学習します。分布マッチング損失（DMD）とランダムに交互使用することで、生成の多様性と長時間の安定性を両立します。
長時間ストリーミング微調整：スライディングウィンドウのKV cacheで長いシーケンスを段階的に展開して学習し、sinkフレームのアンカーと過去勾配の切り捨てを維持します。約1分間の長いシーケンスによる微調整と組み合わせ、長時間生成中の画面のドリフトと音声の劣化をさらに抑制します。

方法1：オンライン体験　公式サイト https://helixworld.org を開き、サンプル画像を選択するか、自分の画像をアップロードします。
シーンのテキスト説明を入力します。
世界に入ったら、WASDで移動し、方向キーで視点を動かしながら、生成されたコンテンツをリアルタイムで探索します。
実行中もプロンプトを随時変更でき、その後に生成されるシーンを調整できます。
方法2：ローカルデプロイ　環境準備：Linuxシステム、Python 3.11、CUDA 12.x、NVIDIA GPU（80GB以上のVRAMを推奨）、ffmpeg、ffprobe。
プロジェクトをダウンロードして依存関係をインストールします：git clone https://github.com/NoizAI/HelixWorld.git を実行し、conda環境を作成した後、pip install -r requirements.txtを実行します。
python download_models.pyを実行してモデルの重みをダウンロードします。
開始画像を1枚用意し、./run.shで画像、映像／音声／統合プロンプト、アクションシーケンスなどのパラメータを指定すると、MP4が生成され、outputsディレクトリに出力されます。

初のオープンソース・リアルタイム・インタラクティブ音声・映像ワールドモデル：ユーザーの操作に応じて映像と空間立体音響をリアルタイムで同時生成し、コードと重みを完全公開しています。
真の「視点を動かすと音も変わる」体験：音像が視点の回転に厳密に追従し、空間的一貫性のスコアは同種モデルの数倍です。
1枚のGPUでリアルタイム処理：1枚のH800で24 FPS、RTF 0.77のリアルタイム生成を実現し、速度は同種モデルの2.5倍以上です。
長時間生成でもドリフトしない：オンライン軌跡蒸留と長時間微調整により、30秒以上の連続生成でも映像と音声は安定し、多様性も低下するどころか向上します。
音声品質で総合的に優位：HelixBenchの主要指標で総合的に最高性能を示し、音声付きシーンのユーザーブラインドテストでは67.9%の支持率で競合を大きく上回りました。

プロジェクト公式サイト：https://helixworld.org/
GitHubリポジトリ：https://github.com/NoizAI/HelixWorld
arXiv技術論文：https://arxiv.org/pdf/2609.38123

没入型ゲームのプロトタイプ：モデリングやゲームエンジンを必要とせず、画像を入力するだけで歩き回って探索できるオープンワールドを生成し、ゲームデモの開発期間を大幅に短縮します。
VR／AR仮想空間：一人称視点と空間音声の組み合わせはヘッドセット機器との親和性が高く、バーチャル展示ホールやデジタルツイン環境を迅速に生成できます。
映像作品・広告のプリビズ：監督がコンセプト画像をアップロードするだけでシーンに「入り込み」、映像と音の効果を試聴できます。実写撮影前に、低コストでショットの表現や雰囲気を検証できます。
AIビデオ通話／バーチャル配信者の背景：音声やインタラクションに合わせて動的な背景と音響効果をリアルタイム生成し、グリーンバックや固定素材を置き換えます。
身体性知能の学習とシミュレーション：インタラクティブな世界シミュレーターとして、ロボットや自動運転に音と映像のフィードバックを備えた低コストの学習環境を提供し、物理的なインタラクションの法則の学習を支援します。