E-Bench – Tencent Hunyuan প্রমুখের তৈরি এজেন্ট মূল্যায়ন বেঞ্চমার্ক চালু আছে

E-Bench হলো Tencent Hunyuan দল, Tsinghua University AIR এবং Southeast University-এর যৌথভাবে তৈরি বহু-ধাপের টুল ব্যবহার মূল্যায়ন বেঞ্চমার্ক। Honor of Kings, QQ Music এবং Tencent Meeting-এর মতো তিনটি বাস্তব পণ্যকে প্রোটোটাইপ হিসেবে ব্যবহার করে এটি একটি সম্পূর্ণ সিন্থেটিক ভার্চুয়াল পরিবেশ তৈরি করেছে, যাতে 323টি স্টেট পরিবর্তনকারী কাজ, 41টি ডেটাবেস টেবিল এবং 7.6万-এর বেশি ডেটা রয়েছে। তথ্য-ব্যবধান ও টুল-ব্যবধানের দ্বৈত অসমমিত নকশার মাধ্যমে এজেন্টকে লুকানো তথ্য সক্রিয়ভাবে সংগ্রহ ও বহু-ধাপের টুল কল সাজাতে বাধ্য করা হয়। শেষে নির্ধারিত ডেটাবেস স্টেট diff-এর মাধ্যমে স্কোর দেওয়া হয়, যা বাস্তব পণ্যের পরিস্থিতিতে বর্তমান AI এজেন্টগুলোর সক্ষমতার সীমা প্রকাশ করে।

সম্পূর্ণ সিন্থেটিক পণ্য পরিবেশ নির্মাণ: গ্রাফ-নির্দেশিত ডেটাবেস পূরণ প্রযুক্তির ভিত্তিতে বিচ্ছিন্ন রেকর্ডহীন এবং টেবিলজুড়ে সামঞ্জস্যপূর্ণ তিনটি পণ্যের ভার্চুয়াল জগৎ তৈরি করা হয়।
দ্বৈত-ব্যবধানভিত্তিক কাজ তৈরি: প্রশ্ন-প্রণয়নকারী মডেলের সম্পূর্ণ ডেটাবেসে প্রবেশাধিকার থাকে, কিন্তু পরীক্ষাধীন মডেল কেবল সীমিত ব্যবসায়িক টুলের মাধ্যমে যোগাযোগ করতে পারে, ফলে তথ্য ও টুলে দ্বৈত অসমতা তৈরি হয়।
নির্ধারিত স্টেট মূল্যায়ন: ডেটাবেস অপারেশনের আগে ও পরের স্টেট diff-কে একমাত্র মূল্যায়ন মানদণ্ড হিসেবে ব্যবহার করা হয়। কেবল নির্ভুল মিলকেই পাস ধরা হয়, ফলে আংশিক নম্বর ও বিচারকের ভিন্নতা দূর হয়।
খরচ-ক্ষমতার যৌথ বিশ্লেষণ: প্রতিটি কাজের API খরচ একই সঙ্গে রেকর্ড করা হয় এবং নির্ভুলতা ও খরচের প্যারেটো ফ্রন্টিয়ার তৈরি করা হয়, যার মাধ্যমে মডেলের ব্যয়-সাশ্রয়িতা মূল্যায়ন করা যায়।
কোড এক্সিকিউশন সম্প্রসারণ: E-Bench-Code সংস্করণে exec_code টুল উন্মুক্ত থাকে, ফলে অর্কেস্ট্রেশন প্রক্রিয়া ও তথ্য আহরণের দুই ধরনের কঠিনতা আলাদা করে মূল্যায়ন করা যায়।

গ্রাফ-নির্দেশিত ডেটাবেস পূরণ: রিলেশনাল schema থেকে টেবিল-স্তরের নির্ভরতা গ্রাফ তৈরি করে টপোলজিক্যাল ক্রমে মূল টেবিল ও অধস্তন টেবিল পূরণ করা হয়। শক্তিশালী LLM-কে সীমাবদ্ধ সিন্থেসাইজার হিসেবে ব্যবহার করে কেবল insert টুলের মাধ্যমে ডেটা লেখা হয়। অধস্তন টেবিলগুলোকে বর্তমান ডেটাবেস থেকে সম্ভাব্য সত্তা খুঁজে নিতে হয়। শেষে নির্ধারিত স্ক্রিপ্ট দিয়ে সময়ের ক্রম, সমষ্টিগত গণনা ইত্যাদির অর্থগত ত্রুটি যাচাই ও সংশোধন করা হয়, যাতে পরিবেশ সম্পূর্ণ ও স্ব-সামঞ্জস্যপূর্ণ থাকে।
জেনারেটর-সলভার অসমতা: প্রশ্ন-প্রণয়নকারী Agent-এর query_sql ও exec_code ব্যবহারের বিশেষাধিকার থাকে; সে সম্পূর্ণ ডেটাবেস দেখতে এবং জটিল গণনা চালাতে পারে। পরীক্ষাধীন Agent কেবল ব্যবসায়িক স্তরের টুল ব্যবহার করতে পারে। এর ফলে তথ্য-ব্যবধান (সার্বিক স্টেট গোপন) ও টুল-ব্যবধান (অভ্যন্তরীণ গণনা টুল অপসারণ) তৈরি হয়, যা মডেলকে বহু-ধাপের সমান্তরাল টুল কলের মাধ্যমে পরিবেশ সক্রিয়ভাবে অনুসন্ধান করতে বাধ্য করে।
উদ্দেশ্য পুনর্লিখন ও নিয়ম প্রতিস্থাপন: ডেটাবেস থেকে উদ্ভূত নির্দিষ্ট মানকে তা তৈরির নিয়ম দিয়ে প্রতিস্থাপন করা হয়। যেমন, সরাসরি গানের ID দেওয়ার পরিবর্তে বলা হয়, “সংগ্রহে থাকা সব সরিয়ে দেওয়া গান যোগ করো”। এতে পরিবেশের সঙ্গে যোগাযোগ ছাড়া কাজটি সম্পন্ন করা যায় না।
ক্রস-ভ্যালিডেশনভিত্তিক কাজ তৈরি: প্রতিটি কাজ ডেটা দেখা → লক্ষ্য নির্ধারণ → স্টেট পরিবর্তন → উদ্দেশ্য সংক্ষেপণের পণ্যায়িত চক্রের মাধ্যমে তৈরি হয়। তিনটি ভিন্ন শক্তিশালী Agent মডেল তা ক্রস-ভ্যালিডেশন করে; অন্তত দুটি মডেল একই ফল পুনরুৎপাদন করলেই কাজটি গ্রহণ করা হয়, ফলে সমাধানযোগ্যতা ও লেবেলের নির্ভুলতা নিশ্চিত হয়।

পরিবেশ প্রস্তুতি: গবেষণাপত্রের সহায়ক সম্পদ থেকে E-Bench-এর সম্পূর্ণ সিন্থেটিক ভার্চুয়াল পরিবেশ সংগ্রহ করুন এবং Honor of Kings, QQ Music ও Tencent Meeting-এর তিনটি পণ্য ডোমেইন কভার করা ডেটাবেস টেমপ্লেট ও 323টি মূল্যায়ন কাজ লোড করুন।
সংস্করণ নির্বাচন: গবেষণার লক্ষ্য অনুযায়ী বেস সংস্করণ E-Bench অথবা E-Bench-Code নির্বাচন করুন।
মডেল সংযুক্তি: পরীক্ষাধীন LLM Agent-কে মূল্যায়ন কাঠামোর সঙ্গে সংযুক্ত করুন। কনফিগার করুন যেন এটি কেবল সীমিত ডোমেইন টুলের মাধ্যমে, যেমন গান খোঁজা, মিটিং তৈরি বা বন্ধু যোগ করা, পরিবেশের সঙ্গে পরোক্ষভাবে যোগাযোগ করতে পারে এবং সরাসরি অন্তর্নিহিত ডেটাবেসে অনুসন্ধান করতে না পারে।
কাজ কনফিগারেশন: প্রতিটি কাজ কতবার স্বাধীনভাবে চলবে এবং প্রতিবার নতুন ডেটাবেস কপি দিয়ে শুরু হবে তা নির্ধারণ করুন। ফলাফল পুনরুৎপাদনযোগ্য রাখতে API কলের খরচ অনুসরণ চালু করুন।
মূল্যায়ন চালানো: স্বয়ংক্রিয় মূল্যায়ন শুরু করুন। Agent প্রাকৃতিক ভাষার নির্দেশ পাওয়ার পর বহু-ধাপের টুল কলের মাধ্যমে ভার্চুয়াল পরিবেশের সঙ্গে যোগাযোগ করে স্টেট পরিবর্তন করবে। সিস্টেম স্বয়ংক্রিয়ভাবে সম্পূর্ণ অপারেশন ট্রেস ও Token খরচ রেকর্ড করবে।
ফলাফল বিশ্লেষণ: মূল্যায়ন শেষে সিস্টেম নির্ধারিত ডেটাবেস স্টেট diff-এর ভিত্তিতে Pass@1 ও Pass³ নির্ভুলতা প্রকাশ করবে এবং খরচ-ক্ষমতার যৌথ বিশ্লেষণ প্রতিবেদন তৈরি করবে, যা মডেলের ব্যয়-সাশ্রয়িতা মূল্যায়নে সহায়তা করবে।

বাস্তবসম্মত规模-এর পর্যাপ্ত বিভ্রান্তি: প্রতিটি ডেটাবেসে 7.6万-এর বেশি সারি ও 60万-এর বেশি ডেটা ইউনিট পূরণ করা হয়। লক্ষ্য সত্তাগুলো বিপুল সংখ্যক অনুরূপ রেকর্ডে ঘেরা থাকে, তাই মডেল পরিবেশের বিরলতার ওপর নির্ভর করে অনুমান করতে পারে না।
পরিবেশ ও কাজের বিচ্ছিন্নতা এবং পুনর্ব্যবহার: একটি স্ব-সামঞ্জস্যপূর্ণ পণ্য পরিবেশ থেকে প্রায় শতাধিক কাজ তৈরি করা যায়। প্রান্তিক খরচ অত্যন্ত কম; পরিবেশ স্তর নিয়ন্ত্রণযোগ্য এবং কাজের স্তর সম্প্রসারণযোগ্য।
স্থিতিশীল ও পুনরুৎপাদনযোগ্য মূল্যায়ন: সম্পূর্ণ সিন্থেটিক পরিবেশ অনলাইন পরিষেবার পরিবর্তনের ওপর নির্ভরশীল নয়। নির্ধারিত diff স্কোরিং অর্থগত বিচারকের বিষয়গত পক্ষপাত দূর করে।
স্পষ্ট কঠিনতা স্তর: বেস সংস্করণ বহু-ধাপের অর্কেস্ট্রেশন ও তথ্য সংগ্রহের পরীক্ষা নেয়; Code সংস্করণে গণনাভিত্তিক কাজের কোডে স্থানান্তর করার সক্ষমতাও অতিরিক্ত পরীক্ষা করা হয়।

arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2607.23722

AI এজেন্ট সক্ষমতা মূল্যায়ন: LLM Agent-এর মানসম্মত ও পরিমাপযোগ্য বহু-ধাপের টুল ব্যবহারের ক্ষমতা মূল্যায়নের সুবিধা দেয় এবং তথ্য অনুসন্ধান, স্টেট পরিবর্তন, আন্তঃসত্তা অর্কেস্ট্রেশনসহ গুরুত্বপূর্ণ মাত্রাগুলো কভার করে।
মডেল নির্বাচন ও পণ্যায়ন সিদ্ধান্ত: খরচ-ক্ষমতার প্যারেটো গ্রাফের মাধ্যমে প্রতিষ্ঠানগুলোকে নির্ভুলতা ও API খরচের মধ্যে ভারসাম্য নির্ধারণে সহায়তা করে এবং উচ্চ ব্যয়-সাশ্রয়ী মডেল শনাক্ত করে।
এজেন্ট প্রশিক্ষণ ডেটা সিন্থেসিস: নিয়ন্ত্রণযোগ্য ও সম্প্রসারণযোগ্য প্রশিক্ষণ ডেটার উৎস হিসেবে ব্যবহার করা যায়, যা বহু-ধাপের টুল কল ও নির্ভরযোগ্যতার ক্ষেত্রে Agent-এর সক্ষমতা ধারাবাহিকভাবে উন্নত করতে সহায়তা করে।
কোড-বর্ধিত Agent গবেষণা: E-Bench-Code বিভিন্ন ধরনের কাজে, যেমন গণনাভিত্তিক কাজ বনাম যুক্তি ও সিদ্ধান্ত গ্রহণ, কোড এক্সিকিউশনের সুবিধার সীমা গবেষণার সুযোগ দেয়।
বহু-ডোমেইন বেঞ্চমার্ক সম্প্রসারণ: এই পদ্ধতিকে আরও পণ্য ব্যাকএন্ড ও CLI পরিস্থিতিতে স্থানান্তর করা যায় এবং সাধারণ এজেন্ট মূল্যায়নের মানদণ্ড প্রতিষ্ঠায় সহায়তা করে।