WorldSonus 운영 중

WorldSonus는 홍콩과기대가 Noiz AI, MetaX, 상하이교통대와 공동으로 오픈 소스로 공개한 실시간 스트리밍 비디오 더빙 프레임워크입니다. 비디오 스트림을 생성하는 동시에 100ms 단위로 48kHz 스테레오 오디오를 실시간 출력합니다. WorldSonus는 인과적 AR 확산 아키텍처와 5초 Ring-KV 캐시를 사용해 생성 도중에도 음향 프롬프트를 끊김 없이 변경할 수 있으며, 좌우 채널은 장면 속 음원의 위치와 카메라 움직임을 반영합니다. 5개 테스트 세트에서 음질이 AudioX, ThinkSound 등 양방향 오프라인 모델을 전반적으로 능가합니다.

실시간 스트리밍 더빙: 비디오 스트림을 생성하는 동시에 오디오를 출력하며, 100ms 단위로 처리합니다. 블록당 계산 시간은 41.2ms에 불과하고 VRAM 사용량이 일정해 무제한 길이의 스트림을 따라갈 수 있습니다.
생성 중 음향 변경: 생성 중 언제든 텍스트 음향 지시를 수정할 수 있으며, 가장 가까운 블록 경계에서 끊김 없이 전환됩니다. 세션 상태가 유지되어 이전 프레임을 다시 계산할 필요가 없습니다.
공간 스테레오: 48kHz 듀얼 채널을 출력하며, 음원의 위치와 카메라 움직임이 좌우 채널에 실시간으로 반영됩니다.
모듈식 플러그 앤 플레이: 비전 백본과 독립적으로 작동하고 ”이미 생성된 비디오 프레임”만 입력받으므로 어떤 월드 모델이나 게임 엔진에도 연결할 수 있습니다.
오픈 도메인 범용성: 인터랙티브 장면뿐 아니라 VGGSound와 같은 범용 비디오에서도 음질이 오프라인 양방향 모델을 능가합니다.

WeChat에서 팔로우한 뒤 “오픈 소스”라고 답장하면 AI 오픈 소스 프로젝트交流群에 참여할 수 있습니다.
블록 단위 인과 스트리밍 생성(AR-Diffusion): 오디오를 인과적 스테레오 VAE의 연속 잠재 공간에 인코딩하고, 100ms마다 3개의 latent 프레임에 해당하도록 처리합니다. decoder-only Transformer는 각 단계에서 ”이전 오디오 블록+현재 비디오 블록”이라는 두 개의 집계 토큰만 읽습니다. W=50 블록의 Ring-KV 순환 캐시로 제한된 메모리를 구현한 뒤, 경량 flow head가 rectified-flow 목표에 따라 현재 블록의 노이즈를 제거합니다.
이중 시간 척도 시각 조건: 동결된 DINOv3가 각 프레임을 패치 그리드로 인코딩하고 프레임 차이 이미지를 결합해 움직임을 포착하며, 각 프레임을 1개의 토큰으로 집계합니다. 3개의 프레임 토큰을 다시 1개의 블록 수준 의미 토큰으로 집계해 AR 백본에 입력함으로써 장거리 일관성을 유지하고, 3개의 프레임 정렬 토큰은 백본을 우회해 flow head에 직접 전달하여 음향과 영상 동기화의 세밀한 렌더링을 담당합니다. 이를 통해 장거리 계획과 국소 렌더링을 분리합니다.
ShiftNCE 학습 시 정렬 증류: 동결된 Synchformer를 학습 시 교사 모델로 사용하고, 대조 학습을 통해 동기화 능력을 AR 은닉 상태에 증류합니다. 양성 샘플은 시간 정렬 윈도우이며, 음성 샘플은 동일한 비디오에서 여러 블록만큼 어긋난 윈도우입니다. 높은 유사도의 오프셋은 가짜 음성 샘플로 필터링합니다. 추론 시 추가 비용은 없으며, 이를 제거하면 DeSync가 0.831에서 1.067로 악화됩니다.
시간 변화형 프롬프트 스케줄링과 인플레이스 프롬프트 제어: 프롬프트를 T5Gemma 2가 토큰 집합으로 압축해 cross-attention에 캐시합니다. 생성 중 단어를 바꿀 때는 가장 가까운 블록 경계에서 이 캐시만 인플레이스로 교체하며, Ring-KV와 시청각 상태는 변경하지 않습니다. 학습 과정에는 중간 전환, 지시 철회, 지시 추가라는 네 가지 시간 변화 스케줄을 의도적으로 포함해 모델이 끊김 없는 전환을 학습하도록 합니다.

환경 준비: Python 3.10 이상, CUDA GPU, FFmpeg/ffprobe를 준비하고 GPU 드라이버가 설치되어 있는지 확인합니다.
코드 받기: git clone https://github.com/NoizAI/WorldSonus.git 을 실행한 뒤 프로젝트 디렉터리로 이동합니다.
의존성 설치: bash scripts/setup.sh .venv를 실행해 CUDA 12.4 버전의 PyTorch를 자동 설치한 다음, source .venv/bin/activate와 pip install -e '.[features]'를 실행합니다.
주요 모델 가중치 다운로드: python scripts/download_model.py --output assets를 실행해 WorldSonus 가중치를 받습니다.
인코더 다운로드: python scripts/download_encoders.py --output assets를 실행해 DINOv3와 T5Gemma 2를 받습니다.
전체 구간 오프라인 더빙: python -m worldsonus.infer --video input.mp4 --prompt "음향 설명 텍스트" --output output.wav를 실행하면 특징 추출, 생성, 디코딩을 자동으로 수행하고 48kHz 스테레오 WAV를 출력합니다.
선택적 매개변수: --start 5 --seconds 10으로 비디오 구간을 자르거나, --prompt를 생략해 순수 비디오 조건 생성에 사용할 수 있습니다.
실시간 스트리밍 생성: --stream 매개변수를 추가하면 오디오를 블록 단위로 증분 생성합니다.
생성과 동시에 재생: --stream --pcm-stdout을 추가해 원시 PCM을 파이프로 ffplay -f f32le -ar 48000 -ac 2 -i - -nodisp -autoexit에 직접 전달하면 즉시 미리 들을 수 있습니다.

스트리밍 인과 아키텍처: 100ms 단위로 나누어 블록당 41.2ms만에 오디오를 실시간 생성하며, VRAM 사용량이 일정하고 무제한 스트림을 따라갈 수 있습니다.
생성 중 프롬프트 변경: 생성 중 언제든 음향 지시를 끊김 없이 교체할 수 있으며, 상태가 유지되고 지연 시간도 실시간 기준을 충족합니다.
공간 스테레오: 48kHz 듀얼 채널을 출력하며, 음원의 위치와 카메라 움직임을 실시간으로 정렬합니다.
모듈식 통합: 이미 생성된 비디오 프레임만 입력받으므로 어떤 월드 모델이나 게임 엔진에도 연결할 수 있습니다.
오프라인 모델을 뛰어넘는 음질: 5개 테스트 세트에서 FAD 등 지표가 전체 비디오를 볼 수 있는 양방향 기준 모델보다 전반적으로 우수합니다.
장거리 안정성: 5초 Ring-KV 캐시를 사용해 30초 동안 연속 생성해도 드리프트나 붕괴가 발생하지 않습니다.

프로젝트 공식 사이트: https://noizai.github.io/WorldSonus/
GitHub 저장소: https://github.com/NoizAI/WorldSonus
HuggingFace 모델 저장소: https://huggingface.co/FF2416/WorldSonus
arXiv 기술 논문: https://arxiv.org/abs/2610.08760

월드 모델 및 게임 엔진의 실시간 더빙: GameGen-X, LingBot-World 2.0과 같은 인터랙티브 월드 모델 및 게임 엔진의 영상 스트림에 환경음을 실시간으로 생성해 화면이 이동하는 곳마다 소리가 따라가도록 합니다.
가상 라이브 방송 및 디지털 휴먼: 라이브 화면을 생성하는 동시에 음성을 동기화하고, 진행자가 방송 중 음성이나 텍스트 지시로 음향을 즉시 변경할 수 있어 방송을 중단하고 다시 녹음할 필요가 없습니다.
장편 비디오의 스트리밍 기반 음악 생성: 영화 예고편, AI 생성 장편 비디오 등의 장면에서 전체 렌더링이 끝날 때까지 기다리지 않고 48kHz 스테레오 배경 음악을 블록 단위로 생성해 후반 작업 기간을 크게 단축합니다.
VR/AR 및 시뮬레이션 훈련 환경: 가상 시뮬레이션, 자율주행 훈련, 군사 모의훈련 등의 환경에서 동적 시점의 영상 스트림에 카메라와 정렬된 공간 오디오를 생성해 몰입감과 훈련 현실성을 높입니다.
에이전트/로봇 인지: 체화된 지능 에이전트에 실시간 시청각 동기화 신호를 제공해 시각 입력과 동시에 스테레오 환경 피드백을 얻도록 하며, 탐색과 상호작용 의사결정을 지원합니다.