BlenderWorld Faoliyat yuritmoqda

BlenderWorld — Qwen jamoasi Chjetszyan universiteti, Gonkong Xitoy universiteti, Fudan universiteti va Singapur Milliy universiteti bilan hamkorlikda taqdim etgan 3D ijodiy Agentlarni baholash mezoni bo‘lib, 223 ta real topshiriqni o‘z ichiga oladi. U AI fotosurat, video yoki dizayn spetsifikatsiyasi asosida Blender’da tahrirlanadigan 3D loyiha yarata olishini tekshiradi. BlenderWorld ko‘p rakursli render va loyiha faylini ichki tekshirishdan iborat ikki yo‘nalishli baholash orqali 2,651 ta qabul mezoni yordamida talablarning bajarilishi va vizual sifatni o‘lchaydi. 13 ta tizim sinovida eng kuchli GPT-6-Astra ham topshiriqlarning atigi 42.2 foizini to‘liq bajargan.

To‘liq 3D ijodiy jarayonni baholash: Agent talablar va mos materiallardan kelib chiqib modellashtirish, materiallar, yoritish, kamera, animatsiya kabi bosqichlarni bajaradi va yakunda tahrirlanadigan .blend loyihasini taqdim etadi.
Turli mos materiallarni qo‘llab-quvvatlash: topshiriqlar tasvir, video va faqat spetsifikatsiya fayllaridan iborat uch turdagi kirish ma’lumotlarini qamrab oladi.
Keng soha qamrovi: arxitektura interyeri, mahsulot ishlab chiqarish, transport va mexanika, personajlar va hayvonlar, tabiiy muhit, animatsiya, simulyatsiya, ilmiy vizualizatsiya kabi 9 ta asosiy va 22 ta kichik toifadagi sahnalarni qamrab oladi.
Ikki yo‘nalishli avtomatik baholash: VLM render qilingan tasvir va videolarni baholaydi, loyiha tekshiruvchi Agent esa .blend faylining ichki tuzilishi va atributlarini tekshiradi.
Ko‘p rakursli dalil yaratish: yuborilgan loyiha uchun avtomatik ravishda bir-birini to‘ldiruvchi 8 ta rakurs tanlanadi va Cycles yordamida qo‘shimcha vizual dalillar render qilinadi.
Ikki o‘lchovli yakuniy baho: umumiy ball 0.5 × Rubric + 0.5 × Dimension formulasi bo‘yicha hisoblanadi hamda Perfect o‘tish darajasi ham ko‘rsatiladi.

WeChat’da kuzatib boring va “ochiq kod” deb javob yuborib, AI ochiq kod loyihalari guruhiga qo‘shiling
Topshiriqlar va qabul mezonlarini shakllantirish: tadqiqotchilar multimodal modellar yordamida topshiriq talablarini yaratadi va qayta yozadi, ilovalarning o‘qiluvchanligi hamda matn va tasvir muvofiqligini qo‘lda tekshiradi. So‘ng talablar, mos materiallar va ilovalardan qabul shartlarini ajratib oladi. Sinov baholashlari va kamida ikkita mustaqil baholovchi modelning o‘zaro tekshiruvidan keyin ular 6—22 ta ikkilik mezon sifatida yakunlanadi va muhimligiga ko‘ra (3/2/1) vaznlanadi. Agent ulardan xabardor qilinmaydi, shu orqali baholashni aldashning oldi olinadi.
Ko‘p rakursli render orqali dalil yig‘ish: mustaqil baholash muhiti yuborilgan .blend loyihasini o‘qiydi. Automatic Agent Render topshiriq va qabul shartlari asosida bir-birini to‘ldiruvchi 8 ta rakursni avtomatik tanlaydi va ularni 1024×1024 o‘lchamda, 64 samples bilan Cycles yordamida render qiladi. Baholovchi Agent kamera va render sozlamalarini o‘zgartirishi mumkin, biroq loyiha mazmunini tuzatishi taqiqlanadi. Asosiy mezon sifatida original eksport qilingan media saqlanadi, video topshiriqlari uchun esa harakat dalili sifatida tartibli tanlangan kadrlar qo‘shiladi.
Ikki yo‘nalishli baholash mexanizmi: VLM-as-Judge tasvir va video asosida tashqi ko‘rinish, fazoviy joylashuv va harakatni baholaydi. Agent-as-Judge esa .blend loyihasining ichki tuzilishi va atributlarini vositalar orqali bevosita tekshiradi, zarur bo‘lgandagina vizual dalillarga murojaat qiladi. Shu tariqa render tasvirida ko‘rinmaydigan aniq o‘lchamlar va ichki tuzilma kabi ma’lumotlar ham tekshiriladi.

ModelScope SDK’ni o‘rnating: ma’lumotlar to‘plamini yuklab olish vositasini o‘rnatish uchun pip install -U modelscope buyrug‘ini bajaring.
Baholash ma’lumotlar to‘plamini yuklab oling: 223 ta topshiriqni mahalliy muhitga olish uchun dataset_snapshot_download(dataset_id="Qwen/BlenderWorld", local_dir="./BlenderWorld-data") funksiyasini chaqiring.
O‘zingizning 3D Agent’ingizni ulang: Agent’ingiz topshiriq talablarini va mos materiallarni o‘qisin, Blender muhitida ijodiy ishni bajarsin hamda .blend loyihasi va unga tegishli media fayllarini chiqarsin.
Ishni baholashga yuboring: loyihani mustaqil baholash muhitiga yuboring, tizim ko‘p rakursli render va ikki yo‘nalishli baholashni avtomatik amalga oshiradi.
Baholash natijalarini ko‘ring: Rubric qabul balli, Dimension taassurot balli, umumiy ball va Perfect o‘tish darajasini oling hamda Agent’ning zaif jihatlarini aniqlash uchun muvaffaqiyatsiz bajarilish izlaridan foydalaning.

Baholash maqsadi real ishlab chiqarish talablariga yaqin: bitta yakuniy tasvir emas, tahrirlanadigan .blend loyihasini taqdim etish talab qilinadi; loyiha taqdim etilmasa, to‘g‘ridan-to‘g‘ri nol ball beriladi.
Qabul mezonlari qat’iy va aldashdan himoyalangan: 2,651 ta ikkilik mezon bir necha bosqichli o‘zaro baholashdan so‘ng yakunlangan va ularni yaratuvchi Agent ko‘rmaydi, bu maqsadli ravishda ustunlikka erishish imkoniyatini sezilarli darajada kamaytiradi.
Ikki yo‘nalishli baholash vizual ko‘r nuqtalarni to‘ldiradi: ko‘p rakursli render va loyiha faylini ichki tekshirish birgalikda ichki tuzilma, aniq o‘lchamlar, animatsiya sozlamalari kabi bitta asosiy rakurs tasvirida ko‘rinmaydigan nuqsonlarni aniqlaydi.
Baholash tizimi bajarilish darajasi va vizual taassurotni birgalikda hisobga oladi: Rubric va Dimension har biri 50 foizdan vaznlanadi, Perfect ko‘rsatkichi esa “talablar qamrovi yuqori” holatini “to‘liq va ishonchli topshirish” holatidan ajratadi.
Topshiriqlar qamrovi keng, mos materiallar xilma-xil: 223 ta topshiriq 9 ta asosiy va 22 ta kichik toifadagi sahnalarni qamrab oladi hamda tasvir, video va faqat spetsifikatsiya fayllaridan iborat uch turdagi kirish ma’lumotlarini qo‘llab-quvvatlaydi.

Loyiha rasmiy sayti: https://blenderworld.github.io/
GitHub repozitoriysi: https://github.com/QwenLM/BlenderWorld
HuggingFace model ombori: https://huggingface.co/datasets/Qwen/BlenderWorld
Texnik maqola: https://github.com/QwenLM/BlenderWorld/blob/main/docs/BlenderWorld__Benchmarking_Visual_Agents_for_3D_Creation_from_Real_World_References.pdf

3D Agent imkoniyatlarini baholash: Blender avtomatlashtirish Agent’larini ishlab chiquvchi jamoalar uchun standartlashtirilgan sinov maydonini taqdim etadi va qayta tiklash, o‘zgartirish hamda dizayn kabi uch turdagi ijodiy imkoniyatlarni miqdoriy baholaydi.
Katta modellarni tanlash va taqqoslash: bir xil 2,651 ta qabul mezoni asosida turli yopiq va ochiq kodli modellarning 3D topshirish ishonchliligini taqqoslash va texnologiya tanloviga yordam berish.
Model iteratsiyalarini regressiya testi: Agent yoki asosiy model har yangilanganda mezonni ishga tushirish, Perfect balli va muvaffaqiyatsiz bajarilish izlari orqali imkoniyatlarning pasayishi yoki yaxshilangan jihatlarini aniqlash.
Muvaffaqiyatsizliklarni tahlil qilish va imkoniyatlarni kuchaytirish: ko‘p rakursli dalillar va bajarilish izlari yordamida odatiy nuqsonlarni aniqlash, o‘zini tekshirish mantig‘i va tuzatish strategiyalarini optimallashtirishga yo‘naltirish.
Ilmiy mezon va hamjamiyat reytingi: ochiq kodli akademik mezon sifatida 3D vizual Agentlar sohasidagi maqolalar baholovi, reyting jadvallari va o‘quv ma’lumotlarini yaratishni qo‘llab-quvvatlash.