HelixWorld 운영 중

HelixWorld는 Noiz AI와 홍콩과기대가 공동으로 오픈 소스로 공개한 실시간 인터랙티브 오디오·비디오 월드 모델입니다. 모델에 시작 이미지와 텍스트 설명을 입력하면 WASD와 방향키로 AI가 생성한 세계를 이동하고 주변을 둘러볼 수 있습니다. 화면과 입체 공간 음향은 실시간으로 동기화되어 생성되며, 시점에 따라 음상의 위치도 자연스럽게 변합니다. HelixWorld는 LTX-2.3을 기반으로 구축되었으며, ‘양방향 교사 모델 + 인과 증류’ 방식으로 학습되었습니다. H800 GPU 1장으로 768×512 해상도와 24 FPS의 실시간 생성이 가능합니다. 또한 공간 음향 일관성을 전문적으로 평가하는 HelixBench 벤치마크도 함께 공개되었습니다.

실시간 인터랙티브 세계 생성: 시작 이미지와 텍스트 설명을 입력해 AI가 생성한 세계를 자유롭게 탐험할 수 있습니다.
키보드·동작 조작: WASD로 이동하고 방향키로 시점을 조정하면 화면이 조작에 즉시 반응합니다.
네이티브 오디오·비디오 동시 생성: 영상과 입체 음향을 동기화하여 생성하며, 후처리로 더빙하지 않습니다.
공간 음향 일관성: 카메라가 회전하면 음상도 자연스럽게 변화합니다. 예를 들어 왼쪽의 음원이 뒤를 돌아 정면을 향하면 소리의 방향도 함께 바뀝니다.
3중 분리 프롬프트: 비디오, 오디오, 오디오·비디오 결합 설명을 각각 사용해 생성 콘텐츠를 제어합니다.
실시간의 부드러운 경험: H800 GPU 1장에서 768×512 해상도와 24 FPS의 실시간 생성을 달성합니다.

WeChat에서 팔로우 후 “开源”에 답장하여 AI 오픈 소스 프로젝트交流群에 참여할 수 있습니다.
양방향 교사 모델 사전 학습: 먼저 양방향 오디오·비디오 확산 모델을 교사 모델로 학습합니다. 연속적인 6-DoF 카메라 궤적은 PRoPE를 통해 시각 어텐션에 주입되고, 81종의 이산 동작은 AdaLN-Zero로 확산 시간 단계를 조절합니다. 크로스모달 어텐션은 카메라 움직임을 오디오 분기로 전달하여 소리가 자연스럽게 입체 음상으로 변화하도록 합니다.
인과 증류를 통한 실시간화: 교사 모델을 소수 단계의 인과적 학생 모델로 증류합니다. 비디오 잠재 변수와 오디오 토큰은 블록 단위로 처리하며, 블록 내부에서는 양방향 어텐션을 사용하고 블록 간에는 KV cache를 통해 인과적으로 연결합니다. ODE 초기화를 함께 사용하면 학생 모델이 4단계로 디노이징을 완료할 수 있어 실시간 추론 요구를 충족합니다.
온라인 궤적 증류를 통한 드리프트 억제: 자기회귀 장기 생성에서 발생하는 오차 누적 문제를 해결하기 위해, 학습 시 교사 Probability Flow ODE의 종점을 목표로 학생 속도장을 감독합니다. 이를 분포 매칭 손실(DMD)과 무작위로 번갈아 사용해 생성 다양성과 장기 안정성을 모두 확보합니다.
장기 스트리밍 미세 조정: 슬라이딩 윈도우 KV cache를 사용해 긴 시퀀스를 구간별로 펼치며 학습하고, sink 프레임 앵커와 과거 그래디언트 절단을 유지합니다. 약 1분 길이의 장기 시퀀스 미세 조정을 통해 장시간 생성에서 화면 드리프트와 음성 품질 저하를 추가로 줄입니다.

방법 1: 온라인 체험 공식 웹사이트 https://helixworld.org를 열고 예시 이미지를 선택하거나 직접 이미지를 업로드합니다.
장면에 대한 텍스트 설명을 입력합니다.
세계에 들어간 후 WASD로 이동하고 방향키로 시점을 회전하며 생성된 콘텐츠를 실시간으로 탐색합니다.
실행 중에도 언제든 프롬프트를 수정해 이후 생성될 장면을 조정할 수 있습니다.
방법 2: 로컬 배포 환경 준비: Linux 시스템, Python 3.11, CUDA 12.x, NVIDIA GPU(80GB VRAM 권장), ffmpeg 및 ffprobe가 필요합니다.
프로젝트를 다운로드하고 의존성을 설치합니다: git clone https://github.com/NoizAI/HelixWorld.git을 실행하고 conda 환경을 만든 뒤 pip install -r requirements.txt를 실행합니다.
python download_models.py를 실행해 모델 가중치를 다운로드합니다.
시작 이미지 1장을 준비한 뒤 ./run.sh에서 이미지, 화면·음성·결합 프롬프트, 동작 시퀀스 등의 매개변수를 지정하면 MP4가 생성되어 outputs 디렉터리에 저장됩니다.

최초의 오픈 소스 실시간 인터랙티브 오디오·비디오 월드 모델: 사용자의 조작에 따라 화면과 공간 입체 음향을 함께 실시간으로 생성하며, 코드와 가중치를 완전히 공개합니다.
진정한 ‘고개를 돌리면 소리도 변하는’ 경험: 음상이 시점 회전을 정확히 따라가며, 공간 일관성 점수가 동종 모델보다 몇 배 높습니다.
단일 GPU로 실시간 실행: H800 GPU 1장에서 24 FPS와 RTF 0.77의 실시간 생성을 구현하며, 동종 모델보다 2.5배 이상 빠릅니다.
장기 생성에서도 드리프트 없음: 온라인 궤적 증류와 장기 미세 조정을 통해 30초 이상의 연속 생성에서도 화면과 음성이 안정적으로 유지되며, 다양성은 오히려 향상됩니다.
오디오 품질 전반에서 우수: HelixBench의 핵심 지표에서 모두 최고 성능을 기록했으며, 오디오가 포함된 장면의 사용자 블라인드 테스트에서 67.9%의 선호율로 경쟁 모델을 크게 앞섰습니다.

프로젝트 공식 웹사이트: https://helixworld.org/
GitHub 저장소: https://github.com/NoizAI/HelixWorld
arXiv 기술 논문: https://arxiv.org/pdf/2609.38123

몰입형 게임 프로토타이핑: 모델링과 게임 엔진 없이 이미지 입력만으로 걸어 다니며 탐험할 수 있는 오픈 월드를 생성해 게임 데모 개발 기간을 크게 단축합니다.
VR/AR 가상 공간: 1인칭 시점과 공간 음향의 조합은 헤드셋 기기에 자연스럽게 적합하며, 가상 전시장과 디지털 트윈 환경을 빠르게 생성할 수 있습니다.
영화·광고 사전 시각화: 감독이 콘셉트 이미지를 업로드하면 장면에 직접 들어가 영상과 음향 효과를 미리 확인할 수 있어, 실제 촬영 전에 카메라 언어와 분위기 디자인을 저비용으로 검증할 수 있습니다.
AI 영상 통화·가상 앵커 배경: 음성과 상호작용에 맞는 동적 배경과 음향 효과를 실시간으로 생성해 그린 스크린과 고정 소재를 대체합니다.
Embodied AI 학습 및 시뮬레이션: 인터랙티브 세계 시뮬레이터로서 로봇과 자율주행 시스템에 시청각 피드백을 제공하는 저비용 학습 환경을 구축하고, 물리적 상호작용 규칙 학습을 지원합니다.