BlenderWorld 運営中

BlenderWorldは、Qwenチームが浙江大学、香港中文大学、復旦大学、シンガポール国立大学と共同で発表した3D創作Agent評価ベンチマークです。223件の実タスクを収録し、写真、動画、デザイン仕様に基づいてAIがBlenderで編集可能な3Dプロジェクトを納品できるかを検証します。BlenderWorldは、マルチビューのレンダリングとネイティブプロジェクト検査による二重評価を通じて、2,651件の合格基準で要件の達成度とビジュアル品質を測定します。13のシステムによる実測では、最も強力なGPT-6-Astraでさえ、タスクを完全に達成できた割合は42.2%にとどまりました。

3D創作プロセス全体の評価：Agentは要件と参考素材をもとに、モデリング、マテリアル、ライティング、カメラ、アニメーションなどの工程を完了し、最終的に編集可能な.blendプロジェクトを納品します。
多様な参考素材に対応：タスクは画像、動画、純粋な仕様ファイルの3種類の入力方式を網羅しています。
幅広い分野のタスクをカバー：建築・インテリア、製品製造、車両・機械、キャラクター・動物、自然環境、アニメーション、シミュレーション、科学可視化など、9大カテゴリ22サブカテゴリのシーンを対象とします。
二重の自動評価：VLMがレンダリング画像と動画を評価し、プロジェクト検査Agentが.blendファイルの内部構造と属性を確認します。
マルチビューの証拠生成：提出されたプロジェクトから相補的な8つの視点を自動選択し、Cyclesでレンダリングして視覚的証拠を補足します。
2つの側面による総合スコア：0.5 × Rubric+ 0.5 × Dimensionで総合スコアを算出し、Perfect合格率も報告します。

WeChatでフォローして「開源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます
タスクと合格基準の構築：研究者はマルチモーダルモデルを用いてタスク要件を生成・書き換え、添付ファイルの可読性と図文の整合性を人手で確認します。その後、要件、参考資料、添付ファイルから合格条件を抽出し、予備評価と少なくとも2つの独立した評価モデルによるクロスチェックを経て、6—22個の二値基準として確定します。基準には重要度に応じて重み（3/2/1）を付与し、生成Agentには見せないことで、抜け道の利用を防ぎます。
マルチビューによるレンダリング検証：独立した評価環境が提出された.blendプロジェクトを読み込み、Automatic Agent Renderがタスクと合格条件に基づいて相補的な8つの視点を自動選択します。1024×1024の解像度、64 samplesでCyclesレンダリングを行います。評価Agentはカメラとレンダリング設定を調整できますが、プロジェクト内容の修正は禁止されています。原始的に出力されたメディアを基準とし、動画タスクでは動きの証拠として、順序付きのサンプリングフレームも追加します。
二重評価メカニズム：VLM-as-Judgeは画像と動画に基づいて外観、空間レイアウト、動きを判定します。Agent-as-Judgeはツールを使って.blendプロジェクト内のネイティブ構造と属性を直接検査し、必要な場合にのみ視覚的証拠を参照します。これにより、レンダリング画像では確認できない正確な寸法や内部構造などの情報も検証できます。

ModelScope SDKをインストール：pip install -U modelscopeを実行してデータセットのダウンロードツールをインストールします。
ベンチマークデータセットをダウンロード：dataset_snapshot_download(dataset_id="Qwen/BlenderWorld", local_dir="./BlenderWorld-data")を呼び出し、223件のタスクをローカルに取得します。
独自の3D Agentを接続：Agentにタスク要件と参考素材を読み込ませ、Blender環境で創作を実行し、.blendプロジェクトと付随するメディアファイルを出力させます。
作品を提出して評価を受ける：プロジェクトを独立した評価環境に提出すると、システムがマルチビューのレンダリングと二重評価を自動的に実行します。
評価結果を確認：Rubric合格スコア、Dimension印象スコア、総合スコア、Perfect合格率を取得し、失敗の軌跡からAgentの弱点を特定します。

実際の制作ニーズに近い評価目標：1枚の完成画像ではなく、編集可能な.blendプロジェクトの納品を求め、プロジェクトが提出されない場合は0点とします。
厳密で不正対策を備えた合格基準：2,651件の二値基準を複数回のクロスチェックで確定し、生成Agentには公開しないことで、意図的な抜け道の余地を大幅に縮小します。
二重評価で視覚的な死角を補完：マルチビューのレンダリングとネイティブプロジェクト検査を組み合わせ、内部構造、正確な寸法、アニメーション設定など、単一のメインビューでは露見しない欠陥を発見できます。
完成度と印象を両立した評価体系：RubricとDimensionをそれぞれ50%ずつ加重し、さらにPerfect指標を設けることで、「要件の網羅性が高い」成果と「完全で信頼できる納品」を区別します。
幅広いタスクと多様な参考形式：223件のタスクが9大カテゴリ22サブカテゴリのシーンにまたがり、画像、動画、純粋な仕様ファイルの3種類の入力に対応します。

プロジェクト公式サイト：https://blenderworld.github.io/
GitHubリポジトリ：https://github.com/QwenLM/BlenderWorld
HuggingFaceモデルリポジトリ：https://huggingface.co/datasets/Qwen/BlenderWorld
技術論文：https://github.com/QwenLM/BlenderWorld/blob/main/docs/BlenderWorld__Benchmarking_Visual_Agents_for_3D_Creation_from_Real_World_References.pdf

3D Agentの能力評価：Blender自動化Agentを開発するチームに標準化されたテスト環境を提供し、再構築、編集、設計という3種類の創作能力を定量化します。
大規模モデルの選定・比較：同じ2,651件の合格基準で、異なるクローズドソース／オープンソースモデルの3D納品の信頼性を横断的に比較し、技術選定を支援します。
モデル更新時の回帰テスト：Agentまたは基盤モデルを更新するたびにベンチマークを実行し、Perfectスコアと失敗の軌跡から能力の低下や向上を特定します。
失敗分析と能力強化：マルチビューの証拠と実行軌跡を使って典型的な欠陥を診断し、自己検査ロジックと修正戦略の改善を導きます。
研究ベンチマークとコミュニティランキング：オープンソースの学術ベンチマークとして、3DビジュアルAgent分野の論文評価、ランキング、学習データ構築を支援します。