BlenderWorld Inafanya kazi

BlenderWorld ni kigezo cha kutathmini Agent wa uundaji wa 3D kilichotolewa kwa pamoja na timu ya Qwen, Chuo Kikuu cha Zhejiang, CUHK, Fudan na NUS. Kina kazi 223 halisi za kupima ikiwa AI inaweza, kwa kutumia picha, video au vipimo vya muundo, kuwasilisha mradi wa 3D unaoweza kuhaririwa katika Blender. BlenderWorld hutumia tathmini ya njia mbili kupitia uwasilishaji wa mitazamo mingi na ukaguzi wa mradi asilia, ikipima ukamilifu wa mahitaji na ubora wa mwonekano kwa kutumia vigezo 2,651 vya kukubali. Katika majaribio ya mifumo 13, hata GPT-6-Astra iliyokuwa bora zaidi ilifikia kikamilifu viwango katika 42.2% tu ya kazi.

Tathmini ya mchakato kamili wa uundaji wa 3D: Agent anatakiwa kuanzia mahitaji na nyenzo za marejeo, kukamilisha uundaji wa modeli, nyenzo, mwanga, kamera na uhuishaji, kisha kuwasilisha mradi wa .blend unaoweza kuhaririwa.
Msaada wa nyenzo mbalimbali za marejeo: Kazi zinajumuisha aina tatu za ingizo: picha, video na faili za vipimo pekee.
Wigo mpana wa kazi: Inajumuisha maeneo 9 makuu na kategoria ndogo 22, kama vile usanifu na mambo ya ndani, utengenezaji wa bidhaa, magari na mitambo, wahusika na wanyama, mazingira ya asili, uhuishaji, uigaji na taswira ya kisayansi.
Tathmini ya kiotomatiki ya njia mbili: VLM hutathmini picha na video zilizorenderwa, huku Agent wa ukaguzi wa mradi akikagua muundo na sifa za ndani za faili ya .blend.
Uzalishaji wa ushahidi wa mitazamo mingi: Huchagua kiotomatiki mitazamo 8 inayokamilishana kwa mradi uliowasilishwa na kutumia Cycles kutoa ushahidi wa ziada wa mwonekano.
Alama jumuishi za vipimo viwili: Alama ya jumla huhesabiwa kwa 0.5 × Rubric + 0.5 × Dimension, na kiwango cha kupita Perfect huripotiwa.

Fuata WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi huria ya AI
Uundaji wa kazi na vigezo vya kukubali: Watafiti hutumia modeli za multimodal kuunda na kuhariri mahitaji ya kazi, hukagua kwa mikono usomaji wa viambatisho na ulinganifu wa maandishi na picha, kisha kutoa masharti ya kukubali kutoka kwa mahitaji, marejeo na viambatisho. Baada ya tathmini za majaribio na ukaguzi wa mseto wa angalau modeli mbili huru za tathmini, masharti hayo hugandishwa kuwa vigezo 6—22 vya binary, hupewa uzito kulingana na umuhimu (3/2/1), na hufichwa kutoka kwa Agent anayezalisha ili kuzuia ujanja wa kulenga vigezo.
Utoaji wa ushahidi kwa mitazamo mingi: Mazingira huru ya tathmini husoma mradi wa .blend uliowasilishwa. Automatic Agent Render huchagua kiotomatiki mitazamo 8 inayokamilishana kulingana na kazi na masharti ya kukubali, kisha hutumia Cycles ku-render kwa azimio la 1024×1024 na samples 64; Agent wa tathmini anaweza kurekebisha kamera na mipangilio ya rendering, lakini haruhusiwi kurekebisha maudhui ya mradi. Midia asilia iliyotolewa ndiyo inayotumika, na kazi za video huongezewa fremu zilizochukuliwa kwa mpangilio kama ushahidi wa mwendo.
Utaratibu wa tathmini ya njia mbili: VLM-as-Judge hutumia picha na video kutathmini mwonekano, mpangilio wa anga na mwendo; Agent-as-Judge hukagua moja kwa moja muundo na sifa asilia za mradi wa .blend kupitia zana, na hurejelea ushahidi wa mwonekano pale tu inapohitajika. Hivyo inaweza kuthibitisha taarifa kama vipimo sahihi na muundo wa ndani ambazo haziwezi kuonyeshwa na picha zilizorenderwa.

Sakinisha ModelScope SDK: Endesha pip install -U modelscope ili kusakinisha zana ya kupakua seti ya data.
Pakua seti ya data ya kigezo: Tumia dataset_snapshot_download(dataset_id="Qwen/BlenderWorld", local_dir="./BlenderWorld-data") kupakua kazi 223 kwenye kompyuta ya ndani.
Unganisha Agent wako wa 3D: Ruhusu Agent wako kusoma mahitaji ya kazi na nyenzo za marejeo, kufanya uundaji katika mazingira ya Blender na kutoa mradi wa .blend pamoja na faili za midia zinazohusiana.
Wasilisha kazi kwa tathmini: Wasilisha mradi kwenye mazingira huru ya tathmini, ambapo mfumo utakamilisha kiotomatiki rendering ya mitazamo mingi na tathmini ya njia mbili.
Angalia matokeo ya alama: Pata alama ya kukubali ya Rubric, alama ya mwonekano ya Dimension, alama ya jumla na kiwango cha kupita Perfect, kisha tumia rekodi za kushindwa kutambua maeneo dhaifu ya Agent.

Lengo la tathmini linalingana na mahitaji halisi ya utengenezaji: Linahitaji kuwasilishwa kwa mradi wa .blend unaoweza kuhaririwa badala ya picha moja ya mwisho; kutowasilisha mradi husababisha alama sifuri moja kwa moja.
Vigezo vya kukubali ni madhubuti na vinazuia udanganyifu: Vigezo 2,651 vya binary hugandishwa baada ya tathmini kadhaa za mseto na hufichwa kutoka kwa Agent anayezalisha, hivyo kupunguza sana nafasi ya ujanja wa kulenga vigezo.
Tathmini ya njia mbili hujaza mapungufu ya mwonekano: Kwa kuunganisha rendering ya mitazamo mingi na ukaguzi wa mradi asilia, inaweza kugundua kasoro za muundo wa ndani, vipimo sahihi na usanidi wa uhuishaji ambazo haziwezi kuonekana katika picha moja ya mtazamo mkuu.
Mfumo wa alama huzingatia ukamilifu na mwonekano: Rubric na Dimension kila moja ina uzito wa 50%, huku kipimo cha Perfect kikitofautisha “ufunikaji mkubwa wa mahitaji” na “uwasilishaji kamili na unaotegemeka”.
Wigo mpana wa kazi na aina mbalimbali za marejeo: Kazi 223 zinajumuisha maeneo 9 makuu na kategoria ndogo 22, zikiunga mkono aina tatu za ingizo: picha, video na faili za vipimo pekee.

Tovuti rasmi ya mradi: https://blenderworld.github.io/
Hifadhi ya GitHub: https://github.com/QwenLM/BlenderWorld
Hifadhi ya modeli ya HuggingFace: https://huggingface.co/datasets/Qwen/BlenderWorld
Karatasi ya kiufundi: https://github.com/QwenLM/BlenderWorld/blob/main/docs/BlenderWorld__Benchmarking_Visual_Agents_for_3D_Creation_from_Real_World_References.pdf

Tathmini ya uwezo wa Agent wa 3D: Hutoa uwanja wa majaribio uliosanifiwa kwa timu zinazounda Agent wa kiotomatishaji wa Blender, na kupima kwa namba uwezo wa aina tatu za uundaji: kujenga upya, kurekebisha na kubuni.
Kulinganisha na kuchagua modeli kubwa: Hulinganisha kwa usawa utegemezi wa uwasilishaji wa 3D wa modeli tofauti za kibiashara na huria kwa kutumia vigezo vilevile 2,651 vya kukubali, na kusaidia uchaguzi wa teknolojia.
Majaribio ya kurudi nyuma ya uboreshaji wa modeli: Endesha kigezo baada ya kila uboreshaji wa Agent au modeli msingi, kisha tumia alama ya Perfect na rekodi za kushindwa kutambua maeneo ya kupungua au kuongezeka kwa uwezo.
Uchambuzi wa kushindwa na uimarishaji wa uwezo: Tumia ushahidi wa mitazamo mingi na rekodi za utekelezaji kutambua kasoro za kawaida, na kuelekeza uboreshaji wa mantiki ya kujikagua na mikakati ya kurekebisha.
Kigezo cha utafiti na orodha ya jamii: Kama kigezo huria cha kitaaluma, kinaunga mkono tathmini za machapisho, orodha za viwango na uundaji wa data ya mafunzo katika eneo la Agent wa maono ya 3D.