WorldClaw – 텐센트 훈위안 팀이 개발한 3D 월드 생성 프레임워크 운영 중

WorldClaw는 텐센트 훈위안 팀이 개발한 에이전트 기반 오픈 월드 3D 생성 프레임워크입니다. 사용자가 자연어로 설명을 입력하면 시스템이 지형, 구역, 건축물, 오브젝트 및 공간 관계를 자동으로 계획하고, 전역에서 지역으로 이어지는 생성 전략을 사용해 Blender에서 자유롭게 탐색하고 오브젝트별 편집이 가능한 완전한 3D 장면을 구축합니다. 이 프레임워크는 Claude Opus, GPT-Image-2, SAM3, Hunyuan3D 등 여러 모델의 협업으로 구동되며, 비전 에이전트의 자체 점검 및 복구 기능을 통해 오브젝트가 공중에 뜨거나 서로 관통하는 등의 접촉 문제를 자동으로 수정할 수 있습니다.

지능형 장면 계획: 계획 에이전트가 사용자의 설명을 분석하고, 오픈형 프롬프트를 구역, 지형, 오브젝트, 재질 및 공간 관계를 포함하는 구조화된 장면 사양으로 변환합니다.
전역에서 지역으로 이어지는 생성: 먼저 월드의 지형과 공간 프레임을 구축한 다음 각 구역의 세부 사항을 단계적으로 채워 도로 단절과 스케일 불균형을 방지합니다.
독립 에셋 생성: 건축물, 식생, 차량 등의 오브젝트를 단일 베이크 모델이 아닌 독립 인스턴스로 유지하여 개별 이동, 교체 및 편집을 지원합니다.
비전 자체 점검 및 복구: 비전 에이전트가 여러 시점에서 렌더링을 수행해 비율, 자세 및 접촉 문제를 검사하고, 오브젝트가 공중에 뜨거나 서로 관통하는 등의 결함을 자동으로 수정합니다.
Blender 심층 통합: 지형 생성, 에셋 생성, 장면 배치, 검사 및 렌더링의 전 과정을 Blender 5.1.1에서 실행하며 MCP 인터페이스를 통한 조작을 지원합니다.

멀티 에이전트 협업 아키텍처: 시스템은 계획 에이전트, 장면 최적화 에이전트 및 비전 검사 에이전트로 구성되며, 각각 장면 설계, Blender 조작 및 품질 검증을 담당합니다.
다중 모델 분업: Claude Opus 4.8은 에이전트 기반 모델로 사용되고, GPT-Image-2는 이미지 생성, SAM3/SAM3D는 분할, Hunyuan3D는 3D 재구성 및 에셋 생성을 담당합니다.
Coarse-to-Fine 생성 전략: 먼저 의미 정보가 포함된 높이장을 생성해 지형 골격을 결정하고, 구역별로 오브젝트 구성 계획을 생성한 뒤 각 3D 에셋을 독립적으로 재구성해 조합합니다.
부분 복구 메커니즘: 접촉 문제가 발생한 경우 해당 지지 영역만 수정하여 전체 지형 구조가 손상되는 것을 방지합니다.

설명 입력: 원하는 오픈 월드 장면을 자연어로 설명합니다.
지능형 계획: 계획 에이전트가 프롬프트를 자동으로 분해하고 구역, 지형, 오브젝트 및 공간 관계를 포함하는 구조화된 장면 사양을 생성합니다.
지형 골격 생성: 시스템이 의미 정보가 포함된 높이장을 생성해 산봉우리, 강, 해안 등 지형 구역의 공간적 기반을 결정합니다.
구역별 에셋 생성: 구역별로 건축물, 식생, 차량 등의 독립적인 3D 에셋을 생성하고 해당 위치에 배치합니다.
비전 검사 및 복구: 비전 에이전트가 여러 시점에서 렌더링을 검사하고 비율 이상, 공중에 뜬 오브젝트, 관통 등의 문제를 자동으로 수정합니다.
내보내기 및 편집: Blender에서 완성된 장면을 불러와 오브젝트 위치를 자유롭게 조정하고, 에셋을 교체하거나 재질을 수정할 수 있습니다.

프롬프트에서 완전한 월드까지: 자연어 설명 한 줄만으로 지형, 건축물, 식생 및 시설을 포함하는 완전하고 탐색 가능한 3D 장면을 자동으로 계획하고 생성할 수 있어, 에셋을 하나씩 수작업으로 모델링할 필요가 없습니다.
독립적으로 편집 가능한 에셋: 모든 오브젝트가 독립적인 텍스처, 메시 및 인스턴스로 유지되므로 전체 월드를 다시 생성하지 않고도 개별 이동, 교체 및 재질 수정을 할 수 있습니다.
지능형 자체 점검 및 복구: 비전 에이전트가 비율, 자세 및 접촉 문제를 능동적으로 검사하고 공중에 뜬 오브젝트나 관통 등 일반적인 3D 결함을 자동으로 수정해 생성 품질을 높입니다.
Blender 심층 통합: 전 과정이 Blender 5.1.1에서 실행되며 MCP 인터페이스를 통한 직접 조작을 지원해 기존 3D 워크플로에 쉽게 연동할 수 있습니다.

프로젝트 공식 웹사이트：https://tencent-hunyuan.github.io/Hunyuan3D-WorldClaw/
arXiv 기술 논문：https://arxiv.org/pdf/2608.05248

게임 프로토타입 개발: 오픈 월드 레벨의 초기 모델과 콘셉트 장면을 빠르게 생성해 초기 플레이 검증과 반복 작업을 가속합니다.
영화·영상 가상 제작: 대규모 야외 촬영용 가상 환경을 구축하고 감독의 샷 프리뷰와 디지털 에셋 사전 시각화를 지원합니다.
VR/AR 경험 디자인: 자유롭게 탐색할 수 있는 몰입형 3D 공간을 생성해 가상 관광, 교육 시뮬레이션 또는 전시에 활용할 수 있습니다.
건축 및 도시 계획: 대규모 지역 계획안을 시각화하고 지형, 건축물 및 공공시설 배치를 직관적으로 보여줍니다.
3D 크리에이티브 콘셉트 아트: 디자이너에게 편집 가능한 완전한 장면 기반을 제공해 처음부터 수작업으로 구축하는 비용을 크게 줄입니다.