Matrix-Game 4.0 運営中

Matrix-Game 4.0は昆仑万维が開発した、単一の民生用GPU上で動作する世界初の動画大規模モデルゲームです。「Harness」という新しいパラダイムを採用し、ゲームエンジンが審判として世界の状態とルールを管理し、Coding Agentが自然言語でゲームプレイを書き換え、動画モデルが画家として精細な映像をリアルタイムにレンダリングします。Matrix-Game 4.0は単一のRTX 5090で480p、60 FPS、150ミリ秒未満の低遅延によるゲーム体験を実現し、小規模チームでも世界を構築できるようにします。

単一GPUでリアルタイム動作：単一のRTX 5090で、480p、60 FPS、150ミリ秒未満の遅延によるプレイ可能なゲーム体験を実現します。
自然言語でゲームプレイを変更：Coding Agentに一言指示するだけで、地形やNPCの行動を調整したり、新しいゲームルールを設計したりできます。
世界の状態を明示的に管理：ゲームエンジンがコードで体力、インベントリ、衝突、勝敗などの状態を管理し、物体が視界から外れても変化し続けます。
低ポリゴンから精細な映像へ：動画モデルがエンジンから出力された幾何構造の映像を、光影やマテリアルを備えたAAA級の映像へリアルタイムに再レンダリングします。
長時間にわたる一貫したプレイ：54～99秒の連続プレイに対応し、シーン、キャラクターの身元、インタラクションの結果を安定して維持します。

WeChatでフォローして「开源」と返信し、AIオープンソースプロジェクト交流グループに参加
Harnessアーキテクチャ：システムは動画モデルにCoding Agentとゲームエンジンで構成されたHarnessを組み合わせます。エンジンはルールに基づく状態の変化を管理して構造映像を出力し、Coding Agentはユーザーの意図を新しいルールと詳細なプロンプトに変換します。動画モデルはレンダリングだけに集中し、3者の役割を分離します。
構造映像と精細映像のアライメントデータ：UE5を基盤に分野横断型データセットを構築し、軽量な幾何学的抽象化の収集パイプラインによって複雑なシーンを、空間トポロジーを保持した低ポリゴン構造表現へ抽象化します。高ポリゴン映像とフレーム単位でピクセルレベルに位置合わせし、インスタンスIDと因果イベントのメタデータも同時に取得します。
動的Caption：システムは物体IDと意味記述を関連付け、実行時にエンジンから現在見えているオブジェクトとリアルタイムの状態を読み取り、プロンプトテンプレートに挿入します。構造映像と組み合わせることで、何をどこに描くかという条件制約を共同で提供します。
制御可能なV2V生成：Wan2.2 5Bを基盤に改良し、構造映像と生成対象の動画を148チャンネルで連結して30層の因果DiTに入力します。自己注意機構が空間メモリと過去のKVキャッシュを読み取り、交差注意機構がテキスト条件を読み取り、自回帰方式でブロックごとに生成します。

民生用GPU単体でリアルタイム動作：単一のRTX 5090で480p、60 FPS、112msの遅延を実現し、動画モデルゲームを初めて研究室のマルチGPUクラスターから解放します。
世界の状態を明示的に管理：ゲームエンジンがコードで世界のルールを管理し、状態の読み取り、変更、検証が可能です。これにより、前世代で世界がモデルの記憶にしか存在せず、状態が変化してしまう問題を根本的に解決します。
一言でゲームプレイを変更：Coding Agentが自然言語の指示をゲームルールとコードに直接変換するため、創意工夫の反復が3Dアセット制作パイプラインに制約されません。
長時間安定した一貫性：空間メモリ、参照フレーム、動的Captionの仕組みにより、長時間のプレイ中もシーン構造と物体の身元が崩れません。
性能面で大きくリード：遅延はCode World Modelの約1/90、StreamRender-H3の約1/5であり、相手側を含めても唯一の民生用ソリューションです。

民生用GPU単体でリアルタイム動作：単一のRTX 5090で480p、60 FPS、112msの遅延を実現し、動画モデルゲームを初めて研究室のマルチGPUクラスターから解放します。
世界の状態を明示的に管理：ゲームエンジンがコードで世界のルールを管理し、状態の読み取り、変更、検証が可能です。
一言でゲームプレイを変更：Coding Agentが自然言語の指示をゲームルールとコードに直接変換するため、創意工夫の反復が3Dアセット制作パイプラインに制約されません。
長時間安定した一貫性：空間メモリ、参照フレーム、動的Captionの仕組みにより、長時間のプレイ中もシーン構造と物体の身元が崩れません。
性能面で大きくリード：遅延はCode World Modelの約1/90、StreamRender-H3の約1/5であり、相手側を含めても唯一の民生用ソリューションです。

プロジェクト公式サイト：https://matrix-game-v4-0.github.io/page/
GitHubリポジトリ：https://github.com/SkyworkAI/Matrix-Game.git
HuggingFaceモデルリポジトリ：https://huggingface.co/Skywork/Matrix-Game-4.0

ゲームプロトタイプの迅速な開発：小規模チームがゲームプレイを自然言語で説明すると、Coding Agentが実行可能なゲームDemoを直接生成し、企画検証の期間を大幅に短縮します。
パーソナライズされたゲーム制作（UGC）：プレイヤーが自分の好みに合わせてルールや画風を変更し、「千人千面」のゲーム体験を実現できます。
AIプログラミング教育と実践：オープンソースプロジェクトとして、開発者は「エンジン＋動画モデル」のHarnessアーキテクチャを学び、世界モデルとゲームエンジンの融合パラダイムを探究できます。
低コストなゲームコンテンツ制作：精細な3Dアセットや大型エンジンへの依存を減らし、個人クリエイターでも低ポリゴン構造から映画品質の映像を制作できるため、制作コストを削減します。