BlenderWorld Đang hoạt động

BlenderWorld là benchmark đánh giá Agent sáng tạo 3D do nhóm Qwen phối hợp với Đại học Chiết Giang, CUHK, Phục Đán và NUS phát triển, gồm 223 nhiệm vụ thực tế, kiểm tra khả năng AI tạo ra sản phẩm 3D có thể chỉnh sửa trong Blender dựa trên ảnh, video hoặc đặc tả thiết kế. BlenderWorld sử dụng cơ chế đánh giá kép gồm kết xuất đa góc nhìn và kiểm tra dự án gốc, dùng 2,651 tiêu chí nghiệm thu để đo mức độ hoàn thành yêu cầu và chất lượng hình ảnh. Trong thử nghiệm trên 13 hệ thống, GPT-6-Astra mạnh nhất cũng chỉ hoàn thành đầy đủ 42.2% nhiệm vụ.

Đánh giá toàn bộ quy trình sáng tạo 3D: yêu cầu Agent bắt đầu từ yêu cầu và tư liệu tham khảo, hoàn thành các công đoạn tạo mô hình, vật liệu, ánh sáng, camera, hoạt ảnh, rồi bàn giao dự án .blend có thể chỉnh sửa.
Hỗ trợ nhiều loại tư liệu tham khảo: nhiệm vụ bao gồm ba phương thức đầu vào là hình ảnh, video và tệp đặc tả thuần túy.
Phạm vi nhiệm vụ rộng: bao phủ 9 nhóm lớn và 22 nhóm nhỏ như nội thất kiến trúc, sản xuất sản phẩm, phương tiện và máy móc, nhân vật và động vật, môi trường tự nhiên, hoạt ảnh, mô phỏng và trực quan hóa khoa học.
Đánh giá tự động kép: VLM đánh giá hình ảnh và video kết xuất, còn Agent kiểm tra dự án đối chiếu cấu trúc và thuộc tính bên trong tệp .blend.
Tạo bằng chứng đa góc nhìn: tự động chọn 8 góc nhìn bổ trợ cho dự án gửi lên, dùng Cycles để kết xuất và bổ sung bằng chứng hình ảnh.
Chấm điểm tổng hợp theo hai chiều: tính điểm tổng hợp theo công thức 0.5 × Rubric+ 0.5 × Dimension và báo cáo tỷ lệ đạt Perfect.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Xây dựng nhiệm vụ và tiêu chí nghiệm thu: các nhà nghiên cứu sử dụng mô hình đa phương thức để tạo và biên tập yêu cầu nhiệm vụ, kiểm tra thủ công khả năng đọc tệp đính kèm và tính nhất quán giữa hình ảnh với văn bản, sau đó trích xuất điều kiện nghiệm thu từ yêu cầu, tài liệu tham khảo và tệp đính kèm. Sau đánh giá thử và kiểm tra chéo bởi ít nhất hai mô hình đánh giá độc lập, các điều kiện được cố định thành 6—22 tiêu chí nhị phân, gán trọng số theo mức độ quan trọng (3/2/1), đồng thời ẩn khỏi Agent tạo sinh để ngăn hành vi đối phó.
Thu thập bằng chứng bằng kết xuất đa góc nhìn: môi trường đánh giá độc lập đọc dự án .blend được gửi lên. Automatic Agent Render tự động chọn 8 góc nhìn bổ trợ dựa trên nhiệm vụ và điều kiện nghiệm thu, rồi dùng Cycles kết xuất ở độ phân giải 1024×1024 với 64 samples; Agent đánh giá có thể điều chỉnh camera và cài đặt kết xuất nhưng không được sửa nội dung dự án. Tệp phương tiện xuất ban đầu là căn cứ chính; với nhiệm vụ video, các khung hình lấy mẫu theo thứ tự được bổ sung làm bằng chứng chuyển động.
Cơ chế đánh giá kép: VLM-as-Judge dựa trên hình ảnh và video để đánh giá diện mạo, bố cục không gian và chuyển động; Agent-as-Judge trực tiếp kiểm tra cấu trúc và thuộc tính gốc trong dự án .blend thông qua công cụ, chỉ tham khảo bằng chứng hình ảnh khi cần, từ đó đối chiếu các thông tin như kích thước chính xác và cấu trúc bên trong mà hình ảnh kết xuất không thể thể hiện.

Cài đặt ModelScope SDK: chạy pip install -U modelscope để cài công cụ tải bộ dữ liệu.
Tải bộ dữ liệu benchmark: gọi dataset_snapshot_download(dataset_id="Qwen/BlenderWorld", local_dir="./BlenderWorld-data") để tải 223 nhiệm vụ về máy cục bộ.
Tích hợp Agent 3D của bạn: để Agent đọc yêu cầu nhiệm vụ và tư liệu tham khảo, thực hiện sáng tạo trong môi trường Blender, rồi xuất dự án .blend cùng các tệp phương tiện đi kèm.
Gửi sản phẩm để đánh giá: gửi dự án đến môi trường đánh giá độc lập; hệ thống sẽ tự động hoàn tất kết xuất đa góc nhìn và đánh giá kép.
Xem kết quả: nhận điểm nghiệm thu Rubric, điểm cảm nhận Dimension, điểm tổng hợp và tỷ lệ đạt Perfect, đồng thời sử dụng quỹ đạo thất bại để xác định điểm yếu của Agent.

Mục tiêu đánh giá sát với nhu cầu sản xuất thực tế: yêu cầu bàn giao dự án .blend có thể chỉnh sửa thay vì chỉ một ảnh kết xuất; không gửi dự án sẽ bị tính 0 điểm.
Tiêu chí nghiệm thu chặt chẽ và chống gian lận: 2,651 tiêu chí nhị phân được cố định sau nhiều vòng đánh giá chéo và được ẩn khỏi Agent tạo sinh, hạn chế đáng kể khả năng đối phó có chủ đích.
Đánh giá kép bổ sung các điểm mù thị giác: kết hợp kết xuất đa góc nhìn với kiểm tra dự án gốc để phát hiện các lỗi như cấu trúc bên trong, kích thước chính xác và cấu hình hoạt ảnh mà một ảnh góc nhìn chính không thể bộc lộ.
Hệ thống chấm điểm cân bằng mức độ hoàn thành và cảm quan: Rubric và Dimension mỗi phần chiếm 50% trọng số, đồng thời có chỉ số Perfect để phân biệt “bao phủ yêu cầu cao” với “bàn giao đầy đủ và đáng tin cậy”.
Nhiệm vụ đa dạng, hình thức tham khảo phong phú: 223 nhiệm vụ trải rộng trên 9 nhóm lớn và 22 nhóm nhỏ, hỗ trợ ba loại đầu vào gồm hình ảnh, video và tệp đặc tả thuần túy.

Trang web chính thức：https://blenderworld.github.io/
Kho GitHub：https://github.com/QwenLM/BlenderWorld
Kho mô hình HuggingFace：https://huggingface.co/datasets/Qwen/BlenderWorld
Bài báo kỹ thuật：https://github.com/QwenLM/BlenderWorld/blob/main/docs/BlenderWorld__Benchmarking_Visual_Agents_for_3D_Creation_from_Real_World_References.pdf

Đánh giá năng lực Agent 3D: cung cấp môi trường kiểm thử tiêu chuẩn hóa cho các nhóm phát triển Agent tự động hóa Blender, định lượng ba loại năng lực sáng tạo gồm tái dựng, chỉnh sửa và thiết kế.
So sánh và lựa chọn mô hình lớn: so sánh khả năng bàn giao 3D đáng tin cậy của các mô hình đóng và mã nguồn mở trên cùng 2,651 tiêu chí nghiệm thu, hỗ trợ lựa chọn công nghệ.
Kiểm thử hồi quy khi lặp mô hình: chạy benchmark sau mỗi lần nâng cấp Agent hoặc mô hình nền, xác định điểm suy giảm hoặc cải thiện năng lực thông qua điểm Perfect và quỹ đạo thất bại.
Phân tích thất bại và tăng cường năng lực: sử dụng bằng chứng đa góc nhìn và quỹ đạo thực thi để chẩn đoán các lỗi điển hình, định hướng tối ưu hóa logic tự kiểm tra và chiến lược sửa lỗi.
Benchmark nghiên cứu và bảng xếp hạng cộng đồng: làm benchmark học thuật mã nguồn mở, hỗ trợ đánh giá bài báo, bảng xếp hạng và xây dựng dữ liệu huấn luyện trong lĩnh vực Agent thị giác 3D.