Matrix-Game 4.0 운영 중

Matrix-Game 4.0은 쿤룬완웨이가 출시한 세계 최초의 단일 소비자용 그래픽카드 구동 비디오 대형 모델 게임으로, ”Harness”라는 새로운 패러다임을 채택했습니다. 게임 엔진은 심판 역할로 세계 상태와 규칙을 유지하고, Coding Agent는 자연어로 게임플레이를 수정하며, 비디오 모델은 화가처럼 정교한 화면을 실시간으로 렌더링합니다. Matrix-Game 4.0은 단일 RTX 5090으로 480p, 60 FPS, 150밀리초 미만의 지연 시간을 구현해 소규모 팀도 세계를 구축할 수 있게 합니다.

단일 GPU 실시간 실행: RTX 5090 한 장만으로 480p, 60 FPS, 150밀리초 미만의 지연 시간을 갖춘 플레이 가능한 게임 환경을 구현합니다.
자연어로 게임플레이 수정: Coding Agent에 한 문장으로 지시해 지형, NPC 행동 또는 새로운 게임 규칙을 조정할 수 있습니다.
세계 상태의 명시적 관리: 게임 엔진이 코드로 체력, 인벤토리, 충돌, 승패 등의 상태를 관리하므로 물체가 시야를 벗어나도 계속 변화합니다.
저폴리곤에서 정교한 화면으로 변환: 비디오 모델이 엔진에서 출력한 기하 구조 화면을 빛과 그림자, 재질을 갖춘 AAA급 화면으로 실시간 재렌더링합니다.
장시간 일관된 플레이: 54~99초 동안 중단 없이 플레이할 수 있으며, 장면과 캐릭터의 정체성, 상호작용 결과가 안정적으로 유지되고 변형되지 않습니다.

WeChat에서 팔로우 후 “开源”라고 답장해 AI 오픈소스 프로젝트 교류 그룹에 참여하세요.
Harness 아키텍처: 시스템은 Coding Agent와 게임 엔진으로 구성된 Harness를 비디오 모델에 결합합니다. 엔진은 규칙에 따른 상태 변화를 처리하고 구조 화면을 출력하며, Coding Agent는 사용자의 의도를 새로운 규칙과 구체적인 프롬프트로 변환합니다. 비디오 모델은 렌더링에만 집중해 세 요소의 역할을 분리하고 결합도를 낮춥니다.
구조 화면과 정교한 화면의 정렬 데이터: UE5를 기반으로 도메인 간 데이터셋을 구축하고, 경량 기하 추상화 수집 파이프라인으로 복잡한 장면을 공간 토폴로지를 보존한 저폴리곤 구조 표현으로 추상화합니다. 이를 고폴리곤 화면과 프레임 단위로 픽셀 수준 정렬하고, 인스턴스 ID와 인과 이벤트 메타데이터를 동시에 수집합니다.
동적 Caption: 시스템은 물체 ID와 의미 설명을 연결하고, 실행 중 엔진에서 현재 보이는 객체와 실시간 상태를 읽어 프롬프트 템플릿에 입력합니다. 이를 구조 화면과 결합해 무엇을 어디에 그릴지에 대한 조건을 함께 제공합니다.
제어 가능한 V2V 생성: Wan2.2 5B를 개조해 구조 화면과 생성 대상 비디오를 148개 채널로 연결한 뒤 30층 인과 DiT에 입력합니다. 자기 어텐션은 공간 기억과 과거 KV 캐시를 읽고, 교차 어텐션은 텍스트 조건을 읽어 자기회귀 방식으로 블록 단위 생성을 수행합니다.

소비자용 단일 GPU 실시간 실행: RTX 5090 한 장으로 480p, 60 FPS, 112ms 지연 시간을 구현해 비디오 모델 게임을 실험실의 멀티 GPU 클러스터에서 처음으로 끌어냈습니다.
세계 상태를 명시적으로 관리: 게임 엔진이 코드로 세계 규칙을 관리하므로 상태를 읽고, 수정하고, 검증할 수 있으며, 이전 세대에서 세계가 모델의 기억 속에만 존재해 발생하던 드리프트 문제를 근본적으로 해결했습니다.
한 문장으로 게임플레이 수정: Coding Agent가 자연어 지시를 게임 규칙과 코드로 직접 변환하므로 창의적인 반복 작업이 더 이상 3D 에셋 제작 파이프라인에 발목 잡히지 않습니다.
장시간 안정적 일관성: 공간 기억 + 참조 프레임 + 동적 Caption 메커니즘으로 장시간 플레이 중에도 장면 구조와 물체의 정체성이 무너지지 않도록 보장합니다.
압도적인 성능 우위: 지연 시간이 Code World Model의 약 1/90, StreamRender-H3의 1/5이며, 비교 대상 중 유일한 소비자용 솔루션입니다.

소비자용 단일 GPU 실시간 실행: RTX 5090 한 장으로 480p, 60 FPS, 112ms 지연 시간을 구현해 비디오 모델 게임을 실험실의 멀티 GPU 클러스터에서 처음으로 끌어냈습니다.
세계 상태를 명시적으로 관리: 게임 엔진이 코드로 세계 규칙을 관리하므로 상태를 읽고, 수정하고, 검증할 수 있습니다.
한 문장으로 게임플레이 수정: Coding Agent가 자연어 지시를 게임 규칙과 코드로 직접 변환하므로 창의적인 반복 작업이 더 이상 3D 에셋 제작 파이프라인에 발목 잡히지 않습니다.
장시간 안정적 일관성: 공간 기억 + 참조 프레임 + 동적 Caption 메커니즘으로 장시간 플레이 중에도 장면 구조와 물체의 정체성이 무너지지 않도록 보장합니다.
압도적인 성능 우위: 지연 시간이 Code World Model의 약 1/90, StreamRender-H3의 1/5이며, 비교 대상 중 유일한 소비자용 솔루션입니다.

프로젝트 공식 웹사이트: https://matrix-game-v4-0.github.io/page/
GitHub 저장소: https://github.com/SkyworkAI/Matrix-Game.git
HuggingFace 모델 저장소: https://huggingface.co/Skywork/Matrix-Game-4.0

빠른 게임 프로토타입 개발: 소규모 팀이 자연어로 게임플레이를 설명하면 Coding Agent가 실행 가능한 게임 데모를 직접 생성해 프로젝트 검증 기간을 크게 단축합니다.
개인 맞춤형 게임 제작(UGC): 플레이어가 자신의 취향에 따라 규칙을 수정하고 그래픽 스타일을 바꿔 ‘천 명의 플레이어, 천 가지 게임’ 경험을 구현할 수 있습니다.
AI 프로그래밍 교육 및 실습: 오픈소스 프로젝트로서 개발자는 ‘엔진 + 비디오 모델’ Harness 아키텍처를 학습하고, 월드 모델과 게임 엔진의 융합 패러다임을 탐색할 수 있습니다.
저비용 게임 콘텐츠 제작: 정교한 3D 에셋과 대형 엔진에 대한 의존도를 줄이고, 독립 창작자가 저폴리곤 구조만으로 영화 수준의 화면을 제작해 제작 비용을 낮출 수 있습니다.