BlenderWorld 운영 중

BlenderWorld는 Qwen 팀이 저장대, 홍콩중문대, 푸단대, 싱가포르국립대와 공동으로 출시한 3D 창작 Agent 평가 벤치마크로, 실제 작업 223개를 포함하며 AI가 사진, 동영상 또는 디자인 사양에 따라 Blender에서 편집 가능한 3D 프로젝트를 완성할 수 있는지 테스트합니다. BlenderWorld는 다중 시점 렌더링과 네이티브 프로젝트 검사를 결합한 이중 평가 방식으로 2,651개의 검수 기준을 사용해 요구사항 충족도와 시각적 품질을 측정합니다. 13개 시스템을 실제로 테스트한 결과, 가장 뛰어난 GPT-6-Astra도 전체 작업의 42.2%만 완전히 통과했습니다.

전체 3D 창작 프로세스 평가: Agent가 요구사항과 참고 자료를 바탕으로 모델링, 재질, 조명, 카메라, 애니메이션 등의 작업을 수행하고 최종적으로 편집 가능한 .blend 프로젝트를 제출하도록 합니다.
다양한 참고 자료 지원: 작업은 이미지, 동영상, 순수 사양 파일의 세 가지 입력 방식을 포괄합니다.
폭넓은 작업 범위: 건축 인테리어, 제품 제조, 차량 및 기계, 캐릭터 및 동물, 자연환경, 애니메이션, 시뮬레이션, 과학 시각화 등 9개 대분류 22개 하위 분류의 시나리오를 다룹니다.
이중 자동 평가: VLM이 렌더링 이미지와 동영상을 평가하고, 프로젝트 검사 Agent가 .blend 파일의 내부 구조와 속성을 확인합니다.
다중 시점 증거 생성: 제출된 프로젝트에서 상호 보완적인 8개 시점을 자동으로 선택하고 Cycles로 렌더링해 시각적 증거를 보강합니다.
2차원 종합 점수: 0.5 × Rubric + 0.5 × Dimension으로 종합 점수를 계산하고 Perfect 통과율을 보고합니다.

WeChat에서 팔로우한 후 “开源”라고 답장하여 AI 오픈소스 프로젝트交流群에 참여하세요.
작업 및 검수 기준 구축: 연구자는 멀티모달 모델을 활용해 작업 요구사항을 생성하고 수정하며, 첨부 파일의 가독성과 이미지·텍스트 일치 여부를 수동으로 확인합니다. 그런 다음 요구사항, 참고 자료, 첨부 파일에서 검수 조건을 추출하고, 사전 평가와 최소 2개의 독립 평가 모델을 통한 교차 검사를 거쳐 6—22개의 이진 기준으로 확정합니다. 기준에는 중요도에 따라 가중치(3/2/1)를 부여하며, 생성 Agent가 요령을 피하지 못하도록 해당 기준은 Agent에 공개하지 않습니다.
다중 시점 렌더링을 통한 증거 수집: 독립 평가 환경이 제출된 .blend 프로젝트를 읽고, Automatic Agent Render가 작업 및 검수 조건에 따라 상호 보완적인 8개 시점을 자동으로 선택합니다. 1024×1024 해상도와 64 samples로 Cycles 렌더링을 수행하며, 평가 Agent는 카메라와 렌더링 설정을 조정할 수 있지만 프로젝트 내용을 수정할 수는 없습니다. 원본으로 내보낸 미디어를 기준으로 하며, 동영상 작업에는 움직임 증거를 위해 순서가 있는 샘플 프레임을 추가합니다.
이중 평가 메커니즘: VLM-as-Judge는 이미지와 동영상을 기반으로 외관, 공간 배치, 움직임을 판단합니다. Agent-as-Judge는 도구를 통해 .blend 프로젝트의 네이티브 구조와 속성을 직접 검사하고, 필요한 경우에만 시각적 증거를 참고합니다. 이를 통해 렌더링 이미지로는 확인하기 어려운 정확한 치수와 내부 구조 등의 정보를 검증합니다.

ModelScope SDK 설치: pip install -U modelscope를 실행해 데이터셋 다운로드 도구를 설치합니다.
벤치마크 데이터셋 다운로드: dataset_snapshot_download(dataset_id="Qwen/BlenderWorld", local_dir="./BlenderWorld-data")를 호출해 223개 작업을 로컬에 가져옵니다.
자체 3D Agent 연동: Agent가 작업 요구사항과 참고 자료를 읽고 Blender 환경에서 창작을 수행한 뒤 .blend 프로젝트와 관련 미디어 파일을 출력하도록 합니다.
작품 제출 및 평가: 프로젝트를 독립 평가 환경에 제출하면 시스템이 다중 시점 렌더링과 이중 평가를 자동으로 수행합니다.
평가 결과 확인: Rubric 검수 점수, Dimension 시각적 품질 점수, 종합 점수, Perfect 통과율을 확인하고 실패 궤적을 통해 Agent의 취약한 부분을 파악합니다.

실제 제작 요구에 가까운 평가 목표: 단일 결과 이미지가 아니라 편집 가능한 .blend 프로젝트의 제출을 요구하며, 프로젝트를 제출하지 않으면 바로 0점 처리합니다.
엄격하고 부정행위를 방지하는 검수 기준: 2,651개의 이진 기준을 여러 차례의 교차 평가를 거쳐 확정하고 생성 Agent에 공개하지 않아, 특정 기준에 맞춘 요령을 크게 줄였습니다.
이중 평가로 시각적 사각지대 보완: 다중 시점 렌더링과 네이티브 프로젝트 검사를 결합해 단일 주 시점 이미지로는 드러나지 않는 내부 구조, 정확한 치수, 애니메이션 설정 등의 결함을 발견할 수 있습니다.
완성도와 시각적 품질을 함께 고려하는 점수 체계: Rubric과 Dimension에 각각 50%의 가중치를 부여하며, “요구사항 충족도가 높음”과 “완전하고 신뢰할 수 있는 결과물”을 구분하기 위해 Perfect 지표를 별도로 제공합니다.
넓은 작업 범위와 다양한 참고 형식: 223개 작업이 9개 대분류 22개 하위 분류의 시나리오를 아우르며 이미지, 동영상, 순수 사양 파일의 세 가지 입력을 지원합니다.

프로젝트 공식 사이트：https://blenderworld.github.io/
GitHub 저장소：https://github.com/QwenLM/BlenderWorld
HuggingFace 모델 저장소：https://huggingface.co/datasets/Qwen/BlenderWorld
기술 논문：https://github.com/QwenLM/BlenderWorld/blob/main/docs/BlenderWorld__Benchmarking_Visual_Agents_for_3D_Creation_from_Real_World_References.pdf

3D Agent 역량 평가: Blender 자동화 Agent를 개발하는 팀에 표준화된 테스트 환경을 제공하고, 재구성·수정·설계의 세 가지 창작 역량을 정량화합니다.
대규모 모델 선택 및 비교: 동일한 2,651개 검수 기준으로 다양한 폐쇄형 및 오픈소스 모델의 3D 결과물 제공 신뢰성을 비교해 기술 선택을 지원합니다.
모델 반복 및 회귀 테스트: Agent 또는 기반 모델이 업그레이드될 때마다 벤치마크를 실행하고, Perfect 점수와 실패 궤적을 통해 역량 저하 또는 향상 지점을 파악합니다.
실패 분석 및 역량 강화: 다중 시점 증거와 실행 궤적을 활용해 대표적인 결함을 진단하고, 자체 점검 로직과 복구 전략의 최적화를 지원합니다.
연구 벤치마크 및 커뮤니티 순위표: 오픈소스 학술 벤치마크로서 3D 비전 Agent 분야의 논문 평가, 순위표, 학습 데이터 구축을 지원합니다.