EchoWM 운영 중

EchoWM은 징둥 탐색연구원이 오픈소스로 공개한 인터랙티브 시청각 월드 모델입니다. JoyAI-Echo의 네이티브 오디오·비디오 생성 능력을 계승하여, 사용자가 1인칭/3인칭 시점으로 AI가 생성한 세계를 실시간으로 이동하며 탐색할 수 있습니다. 화면, 공간 관계, 환경음과 음성은 지속적으로 동기화되며 장시간 일관성을 유지합니다. 이 모델은 통합 카메라 의도 인터페이스와 월드 데이터 엔진을 사용해 학습되었으며, WBench 내비게이션 평가에서 평균 81.7점으로 1위를 차지했습니다.

실시간 탐색형 세계 생성: 사용자는 WASD 방향키를 통해 AI가 생성한 장면 안에서 자유롭게 이동하고, 방향을 전환하거나 되돌아갈 수 있으며, 조작에 따라 세계가 실시간으로 펼쳐집니다.
네이티브 오디오·비디오 공동 생성: 동일한 프레임워크 안에서 720p 영상과 환경음, 음악, 인물 음성을 동시에 생성하며, 화면 변화에 따라 사운드도 자연스럽게 이어집니다.
1인칭/3인칭 시점 제어: 1인칭에서는 카메라가 관찰자의 움직임을 직접 반영하고, 3인칭에서는 카메라가 인물, 차량 등의 주체 움직임을 자동으로 따라갑니다.
다중 라운드 장기 연속성: 이전 영상·음성의 마지막 부분을 다음 라운드의 컨텍스트로 사용하여, 여러 차례 조작한 뒤에도 장면 배치, 주체의 외형과 사운드가 일관되게 유지됩니다.
WBench 내비게이션 평가 1위: 158개 사례에서 평균 81.7점을 기록했으며, 일관성과 상호작용성 지표 모두 상위권을 차지했습니다.

WeChat에서 “오픈소스”를 검색해 AI 오픈소스 프로젝트交流群에 참여하세요.
통합 카메라 의도 인터페이스: 이산적인 키보드 명령을 초기 자세를 기준으로 한 연속적인 6-DoF 궤적으로 매핑하여, 동일한 인터페이스로 카메라의 이동 방식을 표현합니다. 1인칭에서는 관찰자의 움직임을 직접 나타내고, 3인칭에서는 모델이 데이터에서 “주체 이동-카메라 추적”의 결합 관계를 학습하므로 별도의 캐릭터 궤적이나 카메라 사전 설정 매개변수가 필요하지 않습니다. 또한 궤적은 비디오 분기에만 주입되며, 오디오는 화면과 함께 연동됩니다.
월드 데이터 엔진: 상호 보완적인 네 가지 데이터 소스를 통합합니다. 내부적으로 gameplay, 사람의 실제 플레이 영상, UE 시뮬레이션, 일반 인터넷 영상을 수집합니다. 이후 궤적의 최대 평행 이동량에 대한 제90백분위수를 전역 “자”로 사용해 통일적으로 정규화하여, 서로 다른 궤적 간 상대적 이동 차이를 보존하고 구간별 스케일 설정으로 인한 속도 급변을 방지합니다.
점진적 4단계 학습: 1단계에서는 AV-rich 데이터를 사용해 오디오·비디오 지속 사전 학습의 기반을 다집니다. 2단계에서는 백본을 동결하고 경량 궤적 분기만 학습하여 제어 반응을 강화합니다. 3단계에서는 제어 신뢰성과 시청각 품질을 모두 갖춘 데이터를 사용해 낮은 학습률로 공동 미세 조정합니다. 4단계에서는 자기회귀 후학습을 진행하며, Teacher Forcing을 인과적 블록 생성 방식으로 전환하고 단기 Self-Gradient Forcing을 결합해 모델이 자체 생성 이력에 적응하도록 합니다. 이후 분포 매칭 증류를 통해 4단계 샘플링으로 압축하고, sink-plus-FIFO 캐시 메커니즘을 적용해 제어 KV 비용을 관리하면서 장기 스트리밍 상호작용을 지원합니다.

저장소 복제: git clone으로 github.com/jd-opensource/JoyAI-Echo를 다운로드한 뒤 echo_wm/ 디렉터리로 이동합니다. 장편 영상 프로젝트인 echo_longvideo/와는 서로 독립적입니다.
환경 생성: conda create -n echo-wm python=3.11로 독립 환경을 만들고 활성화합니다.
종속성 설치: 먼저 PyTorch 2.9.1（cu128）을 설치한 다음 pip install -r requirements.txt를 실행하고, torch.cuda.is_available()로 GPU를 사용할 수 있는지 확인합니다.
모델 가중치 다운로드: hf download Echo-Team/Echo-WM으로 모델 checkpoint를 다운로드합니다. 또한 Gemma 3 텍스트 인코더도 다운로드해야 합니다. 해당 저장소는 gated 저장소이므로 먼저 HF 페이지에서 라이선스를 수락하고 hf auth login을 실행해야 합니다.
공식 예제로 검증: scripts/run_wm_case.py --case examples/wm_cases/0010과 같은 내장 완성 사례를 실행하여 환경 설정이 올바른지 확인합니다.
사용자 지정 생성: inference_wm.py를 실행하고 첫 프레임 이미지 + 6개 필드 프롬프트 + 동작 문자열（Action DSL）을 전달하면 사운드가 포함된 영상을 출력할 수 있습니다.
동작 명령 작성: Action DSL로 카메라 움직임을 설명합니다. 형식은 <키>-<프레임 수>이며 쉼표로 연결합니다. 예를 들어 w-60,a-60은 60프레임 동안 전진한 뒤 60프레임 동안 왼쪽으로 이동한다는 뜻입니다. w/s/a/d/i/j/k 조합을 지원합니다.

시청각 통합: 동일한 프레임워크 안에서 720p 영상과 환경음, 음악, 음성을 네이티브 방식으로 공동 생성합니다. 사운드는 화면의 장면 및 사건 변화와 동기화되어 함께 변하며, 대부분의 월드 모델이 “화면만 생성하고 소리는 생성하지 못하는” 문제를 해결합니다.
통합 제어 인터페이스: 하나의 상대적 6-DoF 궤적으로 1인칭 관찰자의 이동과 3인칭 카메라의 주체 추적을 동시에 제어하므로, 시점별로 별도의 제어기를 설계할 필요가 없습니다.
장기 일관성: 자기회귀 후학습과 sink-plus-FIFO 캐시 메커니즘을 통해 사용자는 이전 라운드 마지막의 오디오·비디오 컨텍스트를 기반으로 여러 차례 탐색을 이어갈 수 있으며, 장면·주체·사운드가 장시간 일관되게 유지됩니다.
선도적인 평가 결과: WBench Navigation 평가에서 평균 81.7점으로 1위를 기록했으며, 사용자 연구에서 LingBot-World-v2와 HappyOyster보다 전반적인 선호도가 유의미하게 높았습니다.

프로젝트 공식 웹사이트：https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/wm/
GitHub 저장소：https://github.com/jd-opensource/JoyAI-Echo
arXiv 기술 논문：https://arxiv.org/pdf/2608.23189

게임 프로토타입 개발: 제작자가 생성된 장면에 들어가 직접 플레이하며 공간 배치, 경로 설계와 카메라 경험을 검증한 뒤 제작 방향을 결정할 수 있습니다.
인터랙티브 스토리텔링: 사용자의 선택에 따라 스토리 분기가 진행되고 콘텐츠가 지속적으로 생성되어, 기존의 사전 제작 소재를 대체하며 인터랙티브 드라마와 인터랙티브 소설 등에 활용할 수 있습니다.
몰입형 콘텐츠: 영상 및 광고 콘텐츠를 “시청”에서 “진입”으로 전환하여, 관객이 화면 속 세계를 자유롭게 탐색할 수 있습니다.
가상 투어: 박물관, 관광지, 부동산 등의 장면을 낮은 비용으로 디지털화해 자유롭게 둘러볼 수 있으며, 프레임 단위 모델링이 필요하지 않습니다.
디지털 휴먼 공연: 인물의 음성 및 동작을 주변의 동적 환경, 카메라, 사운드와 협업 생성하여 버추얼 스트리머와 디지털 직원 등에 활용할 수 있습니다.