H3-World 運営中

H3-Worldは、Tencentがシンガポール国立大学および香港理工大学と共同で発表した、アクション制御可能なワールドモデルです。33BのMiniMax-H3動画生成器をベースにファインチューニングされています。モデルはキーボード操作を英語の指示に変換し、事前学習済みテキスト経路を通じてモデルに注入します。さらに時間注意ルーティングによって各指示を対応する動画フレームに結び付け、正確な時間整合制御を実現します。H3-Worldは、わずか8000本のゲーム動画を用い、rank-32 LoRAでパラメータの0.199%をファインチューニングすることで、キーボード入力からリアルタイムに制御可能な映像を生成し、未知のシーンにも汎化できます。インタラクティブな生成世界に向けた重要な一歩です。

キーボード操作から動画への制御：キーボード入力によるキャラクター移動やカメラ操作を、対応する映像の変化に変換し、「キー入力で即操作」できるインタラクティブな世界シミュレーションを実現します。
時間の正確な制御：同じ動画の異なる時間帯に異なるアクション指示を実行し、動作の発生タイミングを正確に制御できます。
多環境への汎化：ゲーム映像での学習を起点に、ネオン都市、砂漠のオアシス、幻想的な教会など多様な視覚環境へ汎化し、シーン内容を安定して維持します。
組み合わせ動作への汎化：学習で見たキャラクターやカメラ動作の基本要素を、未登場の動作ペアへ組み合わせ、組み合わせ汎化による制御を実現します。
長時間生成：より長い時系列で連続した制御可能な動画生成に対応し、アクション指示によって映像の進行を継続的に駆動できます。

WeChatでフォローして「开源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます
動作の言語表現：各フレームのキーボード操作を「strafe left」のような短い英語の指示に変換し、動作を自然言語として表現します。
事前学習済みテキスト経路の再利用：指示をMiniMax-H3固有のテキストエンコード経路からモデルに注入します。これにより、動画の事前学習で獲得した意味表現を直接再利用できるため、モデルは動作の意味を自然に理解し、動作エンコードをゼロから学習する必要がありません。
時間注意ルーティング：方向性を持つ注意マスクによって各指示を対応する動画潜在変数フレームに結び付け、指示の作用をあらかじめ定めた時間区間内に制限します。これにより隣接する動作間の制御漏れを防ぎます。これは時間を正確に制御するための鍵です。
軽量なLoRAファインチューニング：H3の自己注意投影層にrank-32 LoRAのみを学習し、学習可能パラメータの0.199%、8000本のゲーム動画、10000ステップの最適化で適応を完了します。動画生成器をワールドモデルへ改造するコストを大幅に削減できます。

方法1：オンライン体験
方法2：ローカルデプロイ
Hugging FaceのインタラクティブデモSpace（hugging-apps/h3-world-action-demo）を開くと、135GBの重みをダウンロードせずにキーボードによる制御を体験できます。
初期フレーム画像をアップロードまたは選択し、シーン説明のpromptを入力します。
プリセット動作またはキーボード入力（キャラクター移動＋カメラ操作）で制御指示を入力します。
モデルは約5.2秒、832×480の制御可能な動画クリップをリアルタイムに生成します。
環境準備：Python 3.10＋CUDA 12.8のconda環境を作成し、PyTorch 2.10とrequirements.txtの依存関係をインストールします。
コードの取得：H3-World公式リポジトリをクローンし、DiffSynth-Studioも指定ディレクトリにクローンします。指定のcommitへ切り替えた後、公式のattentionパッチを適用します（省略不可。省略するとLoRAが無効になります）。
重みのダウンロード：Hugging FaceからMiniMax-H3ベースモデルの重み（約135GB）とH3-World LoRA（step-10000.safetensors）をダウンロードし、リポジトリ内の対応ディレクトリに配置します。
キャッシュの設定：env.shを実行し、Hugging Face、Torch、Tritonのキャッシュ先をリポジトリ内に設定します。
推論の実行：初期フレーム画像、静的な意味条件、時間表形式のアクションシーケンス（各区間にキャラクターまたはカメラの指示文を対応付けたもの）を指定します。
生成結果：モデルはアクションの時間表に従って対応する時系列の動画潜在変数を生成・デコードして出力します。自己回帰的に拡張して、より長い時間の生成も可能です。

新規モジュール不要の洗練された設計：事前学習済みテキスト経路を直接再利用し、動作制御の問題をモデルが本来得意とする言語理解の問題へと変換します。
極めて軽量な学習コスト：8000本のゲーム動画、10000ステップの最適化、rank-32 LoRAによるパラメータ0.199%のファインチューニングだけで、33Bモデルのインタラクティブ制御能力を引き出します。
時間を正確に制御する能力：時間注意ルーティングによって、同じ動画内で時間表に従って異なる動作を実行できます。グローバルpromptでは動作タイミングを正確に制御できないという課題を解決します。
従来の条件注入方式を大きく上回る性能：additive-biasやFiLMなどの直接的な動作条件付け手法と比べ、言語に接地した方式はキャラクターとカメラの協調した動きを生成でき、シーン内容も損ないません。
強力な組み合わせ汎化能力：学習で見た動作の基本要素を、未登場の動作ペアへ組み合わせ、分布外の視覚環境にも汎化できます。
高い汎用性：単一のモデルで、一人称・三人称視点、キャラクター移動、カメラ運動など多様な制御タイプを処理でき、タスクごとの個別学習は不要です。

プロジェクト公式サイト：https://danzer1xxxxchan.github.io/H3-World/
GitHubリポジトリ：https://github.com/Danzer1xxxxChan/H3-World
HuggingFaceモデルリポジトリ：https://modelscope.cn/models/DANNY621/H3-World
技術論文：https://modelscope.cn/papers/2609.01560

ゲームプロトタイプ開発：デザイナーは初期画面を入力するだけで、仮想シーンをリアルタイムに「プレイ」できます。完全なゲームエンジンを先に構築することなく、ステージのコンセプトやカメラワークを迅速に検証できます。
AI Agentの訓練用サンドボックス：具身知能エージェントにインタラクティブな仮想環境を提供します。エージェントはキーボード操作で世界を探索し、視覚的なフィードバックを得ることで、実世界での訓練コストを削減できます。
映像・アニメーションのプリビズ：監督がキーボードで仮想カメラの動き（パン、移動、昇降）を操作し、絵コンテのプレビューをリアルタイムに生成できます。プリビズ制作期間を大幅に短縮します。
ロボット操作戦略の検証：ロボットアームやドローンの移動指示を動作言語に変換し、生成されたシミュレーション環境で動作シーケンスの時間的妥当性を検証します。
没入型コンテンツ制作：VRやゲームインタラクションと組み合わせ、ユーザーが自然なキー操作でパーソナライズされた仮想世界の進化を駆動できるUGCツールです。誰でも「プレイ可能な動画」を生成できます。