H3-World 운영 중

H3-World는 Tencent가 싱가포르 국립대학교 및 홍콩이공대학교와 공동으로 출시한 동작 제어형 월드 모델로, 33B MiniMax-H3 비디오 생성기를 기반으로 미세 조정되었습니다. 이 모델은 키보드 조작을 영어 명령으로 변환하고, 사전 학습된 텍스트 경로를 통해 모델에 주입합니다. 또한 시간 어텐션 라우팅을 활용해 각 명령을 해당 비디오 프레임에 연결함으로써 정밀한 시간 정렬 제어를 구현합니다. H3-World는 게임 비디오 8000개만 사용하고 rank-32 LoRA로 0.199%의 파라미터를 미세 조정하여, 키보드 입력에 따라 제어 가능한 화면을 실시간으로 생성하며 보지 못한 장면에도 일반화할 수 있습니다. 이는 상호작용형 생성 세계로 나아가는 중요한 단계입니다.

키보드 동작 기반 비디오 제어: 키보드로 입력한 캐릭터 이동과 카메라 조작을 해당 비디오 화면의 변화로 변환하여, ‘키를 누르면 바로 조작하는’ 상호작용형 세계 시뮬레이션을 구현합니다.
정밀한 시간 제어: 하나의 비디오에서 서로 다른 시간 구간에 각기 다른 동작 명령을 실행하여 동작 발생 시점을 정확하게 제어할 수 있습니다.
다중 환경 일반화: 게임 화면으로 학습을 시작하지만 네온 도시, 사막 오아시스, 판타지 성당 등 다양한 시각 환경으로 일반화하며 장면의 내용을 안정적으로 유지합니다.
조합 동작 일반화: 학습 중 본 캐릭터 및 카메라 동작의 기본 단위를 조합해 한 번도 등장하지 않았던 동작 조합을 만들어낼 수 있습니다.
장시간 생성: 더 긴 시계열의 연속적이고 제어 가능한 비디오 생성을 지원하며, 동작 명령이 화면의 변화를 지속적으로 이끌 수 있습니다.

WeChat에서 ‘오픈 소스’라고 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요.
동작의 언어 표현: 각 프레임의 키보드 조작을 짧은 영어 명령(예: ‘strafe left’)으로 변환하여 동작을 자연어 형태로 표현합니다.
사전 학습된 텍스트 경로 재사용: 명령은 MiniMax-H3의 기존 텍스트 인코딩 경로를 통해 모델에 주입됩니다. 이를 통해 비디오 사전 학습 단계에서 학습한 의미 표현을 직접 재사용하므로, 모델은 동작의 의미를 자연스럽게 이해하며 동작 인코딩을 처음부터 학습할 필요가 없습니다.
시간 어텐션 라우팅: 지향성 어텐션 마스크를 사용해 각 명령을 해당 비디오 잠재 변수 프레임에 연결하고, 명령의 작용을 미리 정한 시간 구간으로 제한합니다. 이를 통해 인접 동작 간 제어 누출을 방지하며, 정밀한 시간 제어를 실현하는 핵심 요소입니다.
경량 LoRA 미세 조정: H3의 자기 어텐션 투영에만 rank-32 LoRA를 학습하고, 학습 가능한 파라미터 0.199%, 게임 비디오 8000개, 최적화 10000단계로 적용을 완료합니다. 이를 통해 비디오 생성기를 월드 모델로 개조하는 비용을 크게 낮춥니다.

방법 1: 온라인 체험
방법 2: 로컬 배포
Hugging Face의 대화형 데모 Space(hugging-apps/h3-world-action-demo)를 열면 135GB의 가중치를 다운로드하지 않고도 키보드 기반 제어를 체험할 수 있습니다.
초기 프레임 이미지를 업로드하거나 선택하고 장면 설명 prompt를 입력합니다.
사전 설정 동작 또는 키보드 입력(캐릭터 이동 + 카메라 조작)으로 제어 명령을 입력합니다.
모델은 약 5.2초 길이의 832×480 제어 가능 비디오 클립을 실시간으로 생성합니다.
환경 준비: Python 3.10 + CUDA 12.8 conda 환경을 생성하고 PyTorch 2.10 및 requirements.txt 의존성을 설치합니다.
코드 확보: H3-World 공식 저장소를 복제하고 DiffSynth-Studio를 지정된 디렉터리에 복제한 뒤, 지정된 commit으로 전환하고 공식 attention 패치를 적용합니다(생략할 수 없으며, 그렇지 않으면 LoRA가 적용되지 않습니다).
가중치 다운로드: Hugging Face에서 MiniMax-H3 기반 모델 가중치(약 135GB)와 H3-World LoRA(step-10000.safetensors)를 다운로드하여 저장소의 해당 디렉터리에 배치합니다.
캐시 설정: env.sh를 실행하여 Hugging Face, Torch, Triton 캐시를 저장소 내부로 지정합니다.
추론 실행: 첫 프레임 이미지, 정적 의미 조건, 시간표 형식의 동작 시퀀스(각 구간은 하나의 캐릭터 또는 카메라 명령에 대응)를 제공합니다.
결과 생성: 모델은 동작 시간표에 따라 해당 시계열의 비디오 잠재 변수를 생성하고 디코딩하여 출력하며, 자기회귀 방식으로 더 긴 시간 길이로 확장할 수 있습니다.

새 모듈이 필요 없는 우아한 설계: 사전 학습된 텍스트 경로를 직접 재사용하여 동작 제어 문제를 모델이 본래 강점을 가진 언어 이해 문제로 전환합니다.
극도로 가벼운 학습 비용: 게임 비디오 8000개, 최적화 10000단계, rank-32 LoRA로 0.199%의 파라미터만 미세 조정하여 33B 모델의 상호작용 제어 능력을 해제합니다.
정밀한 시간 제어 능력: 시간 어텐션 라우팅을 통해 하나의 비디오에서 시간표에 따라 서로 다른 동작을 실행할 수 있어, 전역 prompt로는 동작 시점을 정확히 제어할 수 없었던 문제를 해결합니다.
기존 조건 주입 방식보다 뛰어난 성능: additive-bias, FiLM 등 직접적인 동작 조건 방식과 비교해 언어 기반 방식은 조화로운 캐릭터 및 카메라 움직임을 생성하면서도 장면 내용을 훼손하지 않습니다.
강력한 조합 일반화 능력: 학습 중 보았던 동작 기본 단위를 조합해 한 번도 등장하지 않았던 동작 조합을 만들고, 분포 밖의 시각 환경으로 일반화할 수 있습니다.
높은 범용성: 하나의 모델로 1인칭 및 3인칭 시점, 캐릭터 이동과 카메라 움직임 등 다양한 제어 유형을 처리할 수 있으며, 작업별로 별도 학습할 필요가 없습니다.

프로젝트 공식 웹사이트: https://danzer1xxxxchan.github.io/H3-World/
GitHub 저장소: https://github.com/Danzer1xxxxChan/H3-World
HuggingFace 모델 저장소: https://modelscope.cn/models/DANNY621/H3-World
기술 논문: https://modelscope.cn/papers/2609.01560

게임 프로토타입 개발: 디자이너가 초기 화면을 입력하면 가상 장면을 실시간으로 ‘플레이’하며 레벨 콘셉트와 카메라 연출을 빠르게 검증할 수 있어, 완성된 게임 엔진을 먼저 구축할 필요가 없습니다.
AI Agent 학습 샌드박스: 체화 지능 에이전트를 위한 상호작용형 가상 환경을 제공하며, agent가 키보드 동작으로 세계를 탐색하고 시각적 피드백을 받아 실제 세계에서의 학습 비용을 낮춥니다.
영화 및 애니메이션 프리비주얼라이제이션: 감독이 키보드로 가상 카메라의 움직임(회전, 이동, 상승 및 하강)을 조작하여 실시간으로 스토리보드 프리뷰를 생성하고, 초기 previz 제작 기간을 크게 단축합니다.
로봇 조작 전략 검증: 로봇 팔 및 드론의 이동 명령을 동작 언어로 매핑하고, 생성된 시뮬레이션 환경에서 동작 시퀀스의 시간적 타당성을 테스트합니다.
몰입형 콘텐츠 제작: VR 및 게임 인터랙션과 결합하여 사용자가 자연스러운 키 입력으로 개인화된 가상 세계의 변화를 이끄는 UGC 도구를 제공하며, 누구나 ‘플레이 가능한 비디오’를 생성할 수 있습니다.