BlenderWorld 运营中

BlenderWorld 是 Qwen 团队联合浙大、港中大、复旦、新国大推出的 3D 创作 Agent 评测基准，包含 223 项真实任务，测试 AI 能否根据照片、视频或设计规格，在 Blender 中交付可编辑的 3D 工程。BlenderWorld通过多视角渲染与原生工程检查双轨评审，用 2,651 条验收标准衡量需求完成度与视觉质量。实测 13 个系统中，最强的 GPT-6-Astra 也仅 42.2% 的任务完全达标。

完整 3D 创作流程评测：要求 Agent 从需求与参考素材出发，完成建模、材质、灯光、相机、动画等环节，最终交付可编辑的 .blend 工程。
多参考素材支持：任务涵盖图片、视频与纯规格文件三类输入方式。
宽领域任务覆盖：覆盖建筑室内、产品制造、车辆机械、角色动物、自然环境、动画、仿真、科学可视化等 9 大类 22 子类场景。
双轨自动评审：VLM 评审渲染图像与视频，工程检查 Agent 核对 .blend 文件的内部结构与属性。
多视角证据生成：自动为提交工程选取 8 个互补视角，用 Cycles 渲染补充视觉证据。
双维度综合评分：按 0.5 × Rubric+ 0.5 × Dimension计算综合分，并报告 Perfect 通过率。

微信关注回复“开源”，加入AI开源项目交流群
任务与验收标准构建：研究者借助多模态模型生成并改写任务需求，人工检查附件可读性与图文一致性，再从需求、参考和附件中提取验收条件，经试评测与至少两个独立评审模型交叉检查后冻结为 6—22 条二元标准，按重要性赋权（3/2/1），且对生成 Agent 不可见以防投机取巧。
多视角渲染取证：独立评测环境读取提交的 .blend 工程，由 Automatic Agent Render 根据任务与验收条件自动挑选 8 个互补视角，以 1024×1024 分辨率、64 samples 用 Cycles 渲染；评测 Agent 可调整相机与渲染设置，但禁止修复工程内容，原始导出媒体保留为准，视频任务另补有序采样帧作为运动证据。
双轨评审机制：VLM-as-Judge 基于图像和视频判断外观、空间布局与运动；Agent-as-Judge 通过工具直接检查 .blend 工程中的原生结构与属性，必要时才参考视觉证据，从而核对精确尺寸、内部结构等渲染图无法呈现的信息。

安装 ModelScope SDK：运行 pip install -U modelscope 安装数据集下载工具。
下载基准数据集：调用 dataset_snapshot_download(dataset_id="Qwen/BlenderWorld", local_dir="./BlenderWorld-data") 拉取 223 项任务到本地。
接入自己的 3D Agent：让你的 Agent 读取任务需求与参考素材，在 Blender 环境中执行创作并输出 .blend 工程及配套媒体文件。
提交作品接受评测：将工程提交至独立评测环境，由系统自动完成多视角渲染与双轨评审。
查看评分结果：获取 Rubric 验收分、Dimension 观感分、综合分与 Perfect 通过率，并用失败轨迹定位 Agent 的薄弱环节。

评测目标贴近真实制作需求：要求交付可编辑的 .blend 工程而非单张效果图，未提交工程直接记零分。
验收标准严密且防作弊：2,651 条二元标准经多轮交叉评审冻结，并对生成 Agent 不可见，大幅压缩针对性取巧空间。
双轨评审补足视觉盲区：结合多视角渲染与原生工程检查，能发现内部结构、精确尺寸、动画配置等单张主视角图无法暴露的缺陷。
评分体系兼顾完成度与观感：Rubric 与 Dimension 各占 50% 加权，另设 Perfect 指标区分”需求覆盖高”与”完整可靠交付”。
任务覆盖广、参考形式多样：223 项任务横跨 9 大类 22 子类场景，支持图片、视频与纯规格文件三类输入。

项目官网：https://blenderworld.github.io/
GitHub仓库：https://github.com/QwenLM/BlenderWorld
HuggingFace模型库：https://huggingface.co/datasets/Qwen/BlenderWorld
技术论文：https://github.com/QwenLM/BlenderWorld/blob/main/docs/BlenderWorld__Benchmarking_Visual_Agents_for_3D_Creation_from_Real_World_References.pdf

3D Agent 能力评测：为开发 Blender 自动化 Agent 的团队提供标准化测试场，量化重建、修改、设计三类创作能力。
大模型选型对比：在同一套 2,651 条验收标准下横向比较不同闭源/开源模型的 3D 交付可靠性，辅助技术选型。
模型迭代回归测试：在 Agent 或基座模型每次升级后运行基准，通过 Perfect 分数和失败轨迹定位能力退化或提升点。
失败分析与能力补强：用多视角证据和执行轨迹诊断典型缺陷，指导自检逻辑与修复策略优化。
科研基准与社区榜单：作为开源学术基准，支撑 3D 视觉 Agent 领域的论文评测、排行榜与训练数据构建。