BlenderWorld চালু আছে

BlenderWorld হলো Qwen দলের সঙ্গে ঝেজিয়াং বিশ্ববিদ্যালয়, চীনা বিশ্ববিদ্যালয় হংকং, ফুদান বিশ্ববিদ্যালয় ও ন্যাশনাল ইউনিভার্সিটি অব সিঙ্গাপুরের যৌথভাবে প্রকাশিত 3D সৃষ্টিশীল Agent মূল্যায়ন বেঞ্চমার্ক। এতে 223টি বাস্তব কাজ রয়েছে, যা পরীক্ষা করে AI ছবি, ভিডিও বা ডিজাইন স্পেসিফিকেশন অনুসারে Blender-এ সম্পাদনাযোগ্য 3D প্রকল্প সরবরাহ করতে পারে কি না। BlenderWorld বহু-দৃষ্টিকোণ রেন্ডারিং এবং নেটিভ প্রকল্প যাচাইয়ের দ্বৈত মূল্যায়ন ব্যবস্থায় 2,651টি গ্রহণযোগ্যতার মানদণ্ড ব্যবহার করে প্রয়োজন পূরণ ও দৃশ্যমান গুণমান পরিমাপ করে। পরীক্ষায় 13টি সিস্টেমের মধ্যে সবচেয়ে শক্তিশালী GPT-6-Astra-ও মাত্র 42.2% কাজ সম্পূর্ণভাবে মানদণ্ড পূরণ করেছে।

সম্পূর্ণ 3D সৃষ্টিশীলতা প্রক্রিয়ার মূল্যায়ন: Agent-কে প্রয়োজন ও রেফারেন্স উপকরণ থেকে শুরু করে মডেলিং, উপকরণ, আলো, ক্যামেরা ও অ্যানিমেশনসহ সব ধাপ সম্পন্ন করে শেষে সম্পাদনাযোগ্য .blend প্রকল্প সরবরাহ করতে হয়।
বহু ধরনের রেফারেন্স উপকরণ সমর্থন: কাজগুলোতে ছবি, ভিডিও ও শুধুমাত্র স্পেসিফিকেশন ফাইল—এই তিন ধরনের ইনপুট পদ্ধতি রয়েছে।
বিস্তৃত ক্ষেত্রের কাজ: স্থাপত্য ও অভ্যন্তর, পণ্য নির্মাণ, যানবাহন ও যন্ত্রপাতি, চরিত্র ও প্রাণী, প্রাকৃতিক পরিবেশ, অ্যানিমেশন, সিমুলেশন এবং বৈজ্ঞানিক ভিজ্যুয়ালাইজেশনসহ 9টি প্রধান শ্রেণি ও 22টি উপশ্রেণির দৃশ্য অন্তর্ভুক্ত।
দ্বৈত স্বয়ংক্রিয় মূল্যায়ন: VLM রেন্ডার করা ছবি ও ভিডিও মূল্যায়ন করে, আর প্রকল্প যাচাই Agent .blend ফাইলের অভ্যন্তরীণ কাঠামো ও বৈশিষ্ট্য পরীক্ষা করে।
বহু-দৃষ্টিকোণ প্রমাণ তৈরি: জমা দেওয়া প্রকল্পের জন্য স্বয়ংক্রিয়ভাবে 8টি পরস্পর-পরিপূরক দৃষ্টিকোণ নির্বাচন করে এবং Cycles দিয়ে রেন্ডার করে অতিরিক্ত দৃশ্যমান প্রমাণ তৈরি করা হয়।
দুই মাত্রার সমন্বিত স্কোর: 0.5 × Rubric + 0.5 × Dimension সূত্রে মোট স্কোর গণনা করা হয় এবং Perfect পাসের হারও জানানো হয়।

WeChat-এ অনুসরণ করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
কাজ ও গ্রহণযোগ্যতার মানদণ্ড তৈরি: গবেষকেরা বহুমাত্রিক মডেলের সাহায্যে কাজের প্রয়োজন তৈরি ও সংশোধন করেন, সংযুক্তির পাঠযোগ্যতা এবং ছবি ও পাঠ্যের সামঞ্জস্য হাতে পরীক্ষা করেন। এরপর প্রয়োজন, রেফারেন্স ও সংযুক্তি থেকে গ্রহণযোগ্যতার শর্ত বের করা হয়। পরীক্ষামূলক মূল্যায়ন এবং অন্তত দুটি স্বাধীন মূল্যায়ন মডেলের ক্রস-চেকের পর এগুলো 6—22টি দ্বিমূল্য মানদণ্ডে স্থির করা হয়, গুরুত্ব অনুযায়ী 3/2/1 ওজন দেওয়া হয় এবং কৌশলে সুবিধা নেওয়া ঠেকাতে生成 Agent-এর কাছ থেকে গোপন রাখা হয়।
বহু-দৃষ্টিকোণ রেন্ডারিংয়ের মাধ্যমে প্রমাণ সংগ্রহ: স্বাধীন মূল্যায়ন পরিবেশে জমা দেওয়া .blend প্রকল্প পড়ে Automatic Agent Render কাজ ও গ্রহণযোগ্যতার শর্ত অনুযায়ী স্বয়ংক্রিয়ভাবে 8টি পরস্পর-পরিপূরক দৃষ্টিকোণ নির্বাচন করে। 1024×1024 রেজোলিউশন ও 64 samples ব্যবহার করে Cycles-এ রেন্ডার করা হয়। মূল্যায়ন Agent ক্যামেরা ও রেন্ডারিং সেটিং পরিবর্তন করতে পারে, কিন্তু প্রকল্পের বিষয়বস্তু মেরামত করতে পারে না। মূলত রপ্তানিকৃত মিডিয়াই চূড়ান্ত হিসেবে ধরা হয়; ভিডিও কাজের ক্ষেত্রে গতির প্রমাণ হিসেবে অতিরিক্তভাবে ক্রমযুক্ত নমুনা ফ্রেম দেওয়া হয়।
দ্বৈত মূল্যায়ন ব্যবস্থা: VLM-as-Judge ছবি ও ভিডিওর ভিত্তিতে বাহ্যিক রূপ, স্থানিক বিন্যাস ও গতি বিচার করে। Agent-as-Judge সরাসরি টুল ব্যবহার করে .blend প্রকল্পের নেটিভ কাঠামো ও বৈশিষ্ট্য পরীক্ষা করে এবং প্রয়োজন হলে দৃশ্যমান প্রমাণ দেখে। এর মাধ্যমে রেন্ডার করা ছবিতে প্রকাশ করা যায় না এমন সুনির্দিষ্ট মাত্রা ও অভ্যন্তরীণ কাঠামো যাচাই করা হয়।

ModelScope SDK ইনস্টল করুন: ডেটাসেট ডাউনলোড টুল ইনস্টল করতে pip install -U modelscope চালান।
বেঞ্চমার্ক ডেটাসেট ডাউনলোড করুন: dataset_snapshot_download(dataset_id="Qwen/BlenderWorld", local_dir="./BlenderWorld-data") কল করে 223টি কাজ স্থানীয়ভাবে ডাউনলোড করুন।
নিজের 3D Agent সংযুক্ত করুন: আপনার Agent-কে কাজের প্রয়োজন ও রেফারেন্স উপকরণ পড়তে, Blender পরিবেশে সৃষ্টিশীল কাজ সম্পাদন করতে এবং .blend প্রকল্প ও সংশ্লিষ্ট মিডিয়া ফাইল আউটপুট দিতে দিন।
কাজ জমা দিয়ে মূল্যায়ন নিন: প্রকল্পটি স্বাধীন মূল্যায়ন পরিবেশে জমা দিন; সিস্টেম স্বয়ংক্রিয়ভাবে বহু-দৃষ্টিকোণ রেন্ডারিং ও দ্বৈত মূল্যায়ন সম্পন্ন করবে।
স্কোরের ফলাফল দেখুন: Rubric গ্রহণযোগ্যতা স্কোর, Dimension দৃশ্যমান মানের স্কোর, মোট স্কোর ও Perfect পাসের হার সংগ্রহ করুন এবং ব্যর্থতার ট্রেস ব্যবহার করে Agent-এর দুর্বল দিক শনাক্ত করুন।

মূল্যায়নের লক্ষ্য বাস্তব উৎপাদন প্রয়োজনের কাছাকাছি: একক ফলাফলের ছবি নয়, সম্পাদনাযোগ্য .blend প্রকল্প জমা দিতে হয়; প্রকল্প জমা না দিলে সরাসরি শূন্য স্কোর দেওয়া হয়।
গ্রহণযোগ্যতার মানদণ্ড কঠোর ও প্রতারণা-প্রতিরোধী: 2,651টি দ্বিমূল্য মানদণ্ড বহু ধাপের ক্রস-ভ্যালিডেশনের পর স্থির করা হয়েছে এবং生成 Agent-এর কাছ থেকে গোপন রাখা হয়, ফলে লক্ষ্যভিত্তিক কৌশলে সুবিধা নেওয়ার সুযোগ অনেক কমে যায়।
দ্বৈত মূল্যায়ন দৃশ্যমান সীমাবদ্ধতা পূরণ করে: বহু-দৃষ্টিকোণ রেন্ডারিং ও নেটিভ প্রকল্প যাচাই একত্র করে অভ্যন্তরীণ কাঠামো, সুনির্দিষ্ট মাত্রা ও অ্যানিমেশন কনফিগারেশনের মতো এমন ত্রুটিও শনাক্ত করা যায়, যা একক প্রধান দৃষ্টিকোণের ছবিতে প্রকাশ পায় না।
স্কোরিং ব্যবস্থা সম্পূর্ণতা ও দৃশ্যমান মান উভয় বিবেচনা করে: Rubric ও Dimension প্রত্যেকটি 50% ওজন বহন করে। পাশাপাশি Perfect সূচকটি “উচ্চ প্রয়োজন কভারেজ” এবং “সম্পূর্ণ ও নির্ভরযোগ্য সরবরাহ”-এর মধ্যে পার্থক্য করে।
বিস্তৃত কাজ ও বৈচিত্র্যময় রেফারেন্স: 223টি কাজ 9টি প্রধান শ্রেণি ও 22টি উপশ্রেণির দৃশ্য জুড়ে বিস্তৃত এবং ছবি, ভিডিও ও শুধুমাত্র স্পেসিফিকেশন ফাইল—এই তিন ধরনের ইনপুট সমর্থন করে।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://blenderworld.github.io/
GitHub রিপোজিটরি: https://github.com/QwenLM/BlenderWorld
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/datasets/Qwen/BlenderWorld
প্রযুক্তিগত গবেষণাপত্র: https://github.com/QwenLM/BlenderWorld/blob/main/docs/BlenderWorld__Benchmarking_Visual_Agents_for_3D_Creation_from_Real_World_References.pdf

3D Agent সক্ষমতা মূল্যায়ন: Blender অটোমেশন Agent তৈরি করা দলগুলোর জন্য মানসম্মত পরীক্ষার ক্ষেত্র প্রদান করে এবং পুনর্গঠন, পরিবর্তন ও নকশা—এই তিন ধরনের সৃষ্টিশীল সক্ষমতা পরিমাপ করে।
বৃহৎ মডেল নির্বাচন ও তুলনা: একই 2,651টি গ্রহণযোগ্যতার মানদণ্ডের অধীনে বিভিন্ন ক্লোজড-সোর্স ও ওপেন-সোর্স মডেলের 3D সরবরাহের নির্ভরযোগ্যতা তুলনা করে প্রযুক্তি নির্বাচনে সহায়তা করে।
মডেল পুনরাবৃত্তি ও রিগ্রেশন পরীক্ষা: Agent বা বেস মডেল প্রতিবার আপগ্রেডের পর বেঞ্চমার্ক চালিয়ে Perfect স্কোর ও ব্যর্থতার ট্রেসের মাধ্যমে সক্ষমতার অবনতি বা উন্নতির স্থান শনাক্ত করা যায়।
ব্যর্থতা বিশ্লেষণ ও সক্ষমতা উন্নয়ন: বহু-দৃষ্টিকোণ প্রমাণ ও কার্যসম্পাদনের ট্রেস ব্যবহার করে সাধারণ ত্রুটি নির্ণয় করা হয় এবং স্ব-পরীক্ষা যুক্তি ও মেরামত কৌশল উন্নত করা যায়।
গবেষণা বেঞ্চমার্ক ও কমিউনিটি তালিকা: ওপেন-সোর্স একাডেমিক বেঞ্চমার্ক হিসেবে 3D ভিশন Agent ক্ষেত্রের গবেষণাপত্র মূল্যায়ন, র‍্যাঙ্কিং এবং প্রশিক্ষণ ডেটা তৈরিতে সহায়তা করে।