WorldCast 운영 중

WorldCast는 우한대학교와 샤오미가 공동으로 오픈 소스화한 동영상 생성 모델로, 캐릭터 참조 이미지 1장, 목표 카메라 궤적, 임의 시점의 앵커 이미지 1~4장을 입력하면 카메라가 캐릭터 주위를 360도 회전하면서도 정체성이 무너지지 않는 영상을 생성합니다. WorldCast는 두 가지 메커니즘으로 이를 구현합니다. 하나는 카메라 궤적을 담당하며 참조 이미지를 포인트 클라우드로 복원하고 궤적을 따라 프레임별 렌더링 가이드를 생성합니다. 다른 하나는 시점 간 일관성을 담당하며 앵커 이미지를 검색 가능한 메모리로 저장하고 카메라가 향한 방향에 맞는 정보를 불러와 카메라가 캐릭터 뒤로 돌아갔을 때 얼굴이 바뀌는 현상을 방지합니다.

넓은 범위의 카메라 제어: 목표 카메라 궤적을 입력하면 카메라가 캐릭터 주위를 회전하고, 전진·후진하며, 최대 360도 전체 회전을 수행할 수 있습니다.
시점 간 정체성 일관성: 생성된 영상에서 캐릭터의 이목구비, 헤어스타일, 의상이 어떤 시점에서도 동일한 정체성을 유지합니다.
다중 시점 앵커 이미지 보완: 임의 시점의 앵커 이미지 1~4장을 보조 정보로 받아 단일 참조 이미지에서 보이지 않는 부분을 보완합니다.
텍스트 및 이미지 이중 조건 생성: 텍스트 프롬프트와 초기 캐릭터 이미지를 결합해 궤적을 따라 제어 가능한 후속 프레임을 생성하며, 캐릭터 소개와 가상 촬영 사전 시각화 등에 활용할 수 있습니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈 소스 프로젝트交流群에 참여
궤적 정렬 기하학적 가이드: 사전 학습된 깊이 추정기로 초기 참조 이미지의 깊이를 추정하고, 이미지를 색상이 포함된 3차원 포인트 클라우드로 역투영합니다. 보정을 통해 렌더링 움직임과 목표 궤적이 가장 잘 일치하는 스케일을 찾은 뒤, point splatting과 깊이 버퍼를 사용해 궤적을 따라 프레임별 RGB 가이드 이미지와 오버레이 마스크를 렌더링합니다. 동시에 Plücker 광선 인코딩으로 목표 카메라의 기하학적 정보를 표현하고, 이를 노이즈 잠재 변수 및 초기 프레임 조건과 patch embedding 전에 채널 방향으로 연결합니다. 오버레이 마스크는 포인트 클라우드가 덮지 못한 픽셀을 표시하여 생성기에 자유롭게 보완해야 할 영역을 알려줍니다.
기하학 정렬 메모리 어텐션(GAMA): 초기 이미지와 앵커 이미지에 전경 분할 및 기하 추정을 적용하고, Umeyama 정렬을 사용해 각 앵커 카메라를 목표 궤적과 동일한 좌표계에 배치합니다. 각 관측을 VAE로 인코딩하고 Plücker 광선 표현을 추가한 뒤 연결해 하나의 “기하학적으로 정렬된 캐릭터 메모리”를 구성합니다. backbone의 0, 2, ……、38번째 블록 뒤에 20개의 메모리 어텐션 블록을 삽입하여 비디오 토큰과 메모리 토큰이 공동 자기 어텐션을 수행하도록 하고, 현재 시점에 따라 상호 보완적인 기하학적 증거를 검색합니다. 잔차 분기는 0으로 초기화하여 학습 초기에는 사전 학습 backbone을 방해하지 않습니다. 제거 실험에 따르면 GAMA를 제거하면 정체성 유사도가 0.555에서 0.370으로 하락합니다.
2단계 학습 및 데이터 구성: 1단계에서는 5만 개의 UE5 합성 카메라 움직임 시퀀스로 카메라 제어 능력을 학습합니다. 제거 실험에 따르면 이 데이터를 없애면 궤적 오차 ATE가 0.100에서 0.359로 악화되며, Plücker 조건도 필수적입니다. 2단계에서는 3만 개의 Blender 다중 시점 앵커 렌더링 데이터로 메모리 어텐션을 학습합니다. 99개 캐릭터와 33개 환경을 포함해 총 8만 개의 샘플을 사용하며, 각 샘플에는 참조 영상, 초기 RGB-D, 카메라 내부·외부 파라미터, 렌더링 가이드, 오버레이 마스크가 제공됩니다.

저장소 복제: git clone https://github.com/PixCtrol/WorldCast 를 실행한 뒤 디렉터리로 이동합니다.
환경 구축: Python ≥3.10과 bf16을 지원하는 CUDA GPU를 준비하고 pip install -r requirements.txt를 실행합니다.
가중치 다운로드: HuggingFace에서 Wan2.1-I2V-14B-720P 베이스 모델을 다운로드해 pretrained/Wan2.1-I2V-14B-720P/에 넣고, base_dit.safetensors와 worldcast_bank.safetensors를 checkpoints/에 넣습니다.
입력 준비: 캐릭터 참조 이미지 1장과 앵커 이미지 1~4장을 넣고, manifest(매니페스트 파일)에서 이미지 경로, 텍스트 프롬프트, 카메라 궤적을 지정합니다.
추론 실행: python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensors 를 실행해 영상을 생성합니다.
배치 및 사용자 정의: 배치 추론은 scripts/infer/infer_worldcast.py와 launch/infer/run_anchor_inference_example.sh를 참고하고, 궤적은 scripts/data/trajectories.py로 생성할 수 있습니다.

뛰어난 시점 간 정체성 일관성: 자체 구축한 CLACT 벤치마크에서 정체성 유사도 ArcFace 0.555를 기록해 Uni3C 등 기준 모델을 크게 앞서며, 카메라가 캐릭터 뒤로 돌아가도 “얼굴이 바뀌지” 않습니다.
최고 수준의 카메라 제어 정밀도: 궤적 오차 ATE 0.065, RTE 0.020, RRE 0.896으로 모두 비교 방법 중 가장 우수하며, 최대 360도 전체 회전을 지원합니다.
넓은 시점 변화에 특화된 설계: 앵커 이미지 메모리 검색을 통해 단일 이미지에서 보이지 않는 “뒷면” 정보를 명시적으로 보완하며, 큰 각도의 궤적에서 발생하는 정체성 붕괴를 해결하도록 설계되었습니다.
검증 가능한 메커니즘 기여: 제거 실험에서 GAMA 메모리 어텐션을 제거하면 ArcFace가 0.555에서 0.370으로 급락해 시점 간 일관성 향상의 원인이 명확하게 확인됩니다.
완전한 개방성: 논문, 추론 코드, 모델 가중치를 모두 제공하고 Apache-2.0 라이선스로 공개한, 카메라 제어 분야에서 드문 완전 공개 프로젝트입니다.

프로젝트 공식 웹사이트：https://pixctrol.github.io/WorldCast/
GitHub 저장소：https://github.com/PixCtrol/WorldCast
HuggingFace 모델 저장소：https://huggingface.co/ly56/worldcast
arXiv 기술 논문：https://arxiv.org/pdf/2610.33135

캐릭터 회전 전시: 카메라가 가상 캐릭터 주위를 360도 회전하며 의상, 피규어, 버추얼 아이돌의 외형 디테일을 일관되게 보여줍니다.
가상 촬영 사전 시각화: 실제 촬영 전에 캐릭터 대역으로 예정된 카메라 위치와 궤적을 미리 시연해 스토리보드 효과를 검증하고 실제 촬영의 시행착오 비용을 줄입니다.
디지털 휴먼 다중 시점 일관성 영상: 디지털 휴먼의 회전, 측면, 뒷모습 등 여러 각도의 소재를 생성하면서 “같은 얼굴”을 유지해 버추얼 스트리머와 이미지 홍보 영상에 활용할 수 있습니다.
게임 캐릭터 애니메이션: 게임 컷신이나 캐릭터 소개 페이지용 회전 카메라 애니메이션을 생성해 기존 다중 시점 모델링 및 렌더링의 반복 비용을 줄입니다.
이커머스 제품 애니메이션: 상품 주위를 회전하는 전시 영상을 생성해 상세 페이지와 광고 소재 제작에 활용할 수 있습니다.