LifeVal চালু আছে

LifeVal হলো OpenAI-এর তৈরি একটি মূল্যায়ন বেঞ্চমার্ক, যা দৈনন্দিন কাজ সম্পন্ন করতে মানুষকে AI কতটা সাহায্য করতে পারে তা পরিমাপ করে। LifeVal মার্কিন সময়-ব্যবহার জরিপ, আন্তর্জাতিক সময়-ব্যবহার গবেষণা এবং ৩,৯৯৫ জনকে নিয়ে পরিচালিত একটি প্রতিনিধিত্বশীল জরিপের ভিত্তিতে তৈরি। এর কাজগুলো শিশু যত্ন, স্বাস্থ্য, শিক্ষা, পারিবারিক প্রশাসন, ব্যক্তিগত অর্থব্যবস্থা, কেনাকাটা এবং সরকারি সেবা গ্রহণসহ বিভিন্ন ক্ষেত্রকে অন্তর্ভুক্ত করে। এর গুরুত্ব হলো মডেল সত্যিই “কাজটি করে দিতে” পারে কি না, শুধু পরামর্শ দিতে পারে কি না তা মূল্যায়ন করা। সরকারি তথ্য অনুযায়ী, গত এক বছরে LifeVal ব্যবহার করে মডেলের কর্মদক্ষতা পরিমাপ ও উন্নত করা হয়েছে। আনওয়েটেড গড় পুরস্কার হিসেবে হিসাব করলে, গড় স্কোর GPT-5.2-এর 49.3% থেকে GPT-6 Astra-এর 80.6%-এ উন্নীত হয়েছে।

দৈনন্দিন কাজের সক্ষমতা পরিমাপ: শিশু যত্ন, স্বাস্থ্য, শিক্ষা, অর্থব্যবস্থা, কেনাকাটা ও সরকারি সেবার মতো বাস্তব জীবনের পরিস্থিতিতে মডেলের কর্মদক্ষতা মূল্যায়ন করে।
বাস্তব ব্যবহারকারীর চাহিদার ভিত্তিতে তৈরি: সময়-ব্যবহার জরিপ এবং ৩,৯৯৫ জনের প্রতিনিধিত্বশীল জরিপের ভিত্তিতে ব্যবহারকারীরা যে কাজগুলোতে AI-এর সহায়তা সবচেয়ে বেশি চান, সেগুলো নির্বাচন করে।
শুরু থেকে শেষ পর্যন্ত কাজ সম্পন্ন করার মূল্যায়ন: মডেল শুধু কথোপকথনধর্মী উত্তর বা পরামর্শ দেয় কি না নয়, সত্যিই “কাজটি করে দিতে” পারে কি না তা বিবেচনা করে।
মডেলের অগ্রগতি পর্যবেক্ষণ: সময়ের সঙ্গে তুলনার জন্য ব্যবহৃত হয়। সরকারি তথ্য অনুযায়ী, স্কোর GPT-5.2-এর 49.3% থেকে GPT-6 Astra-এর 80.6%-এ উন্নীত হয়েছে।
Agent সক্ষমতার পুনরাবৃত্ত উন্নয়ন ত্বরান্বিত করা: ব্রাউজার ব্যবহার, কম্পিউটার পরিচালনা এবং কানেক্টর টুল কলের মতো সক্ষমতার প্রশিক্ষণ ও উন্নয়নে সহায়তা করে।
একাডেমিক মূল্যায়নের সীমা অতিক্রম: “জ্ঞান পরীক্ষা” থেকে সরে এসে AI সাধারণ মানুষকে বাস্তব জীবনের কাজ সামলাতে কতটা সাহায্য করে তা পরিমাপ করে।

কাজের উৎস: LifeVal-এর কাজ তিন ধরনের তথ্য থেকে এসেছে: American Time Use Survey (ATUS), Multinational Time Use Study (MTUS), এবং OpenAI-এর নিজস্ব ৩,৯৯৫ জন উত্তরদাতাকে নিয়ে পরিচালিত জনসংখ্যাগত প্রতিনিধিত্বশীল জরিপ। সময়-ব্যবহার জরিপ থেকে মানুষ দৈনন্দিন জীবনে বাস্তবে যে কাজগুলোতে সময় ব্যয় করে সেগুলো শনাক্ত করা হয়। এরপর প্রশ্নমালার মাধ্যমে প্রতিটি কাজে মানুষ “AI-এর কাছ থেকে কী ধরনের সহায়তা সবচেয়ে বেশি চায়” তা জেনে শিশু যত্ন, স্বাস্থ্য, শিক্ষা, পারিবারিক প্রশাসন, অর্থব্যবস্থা, কেনাকাটা ও সরকারি সেবার মতো ক্ষেত্রের উচ্চ-মূল্যের কাজগুলো বাছাই করা হয়।
মূল্যায়নের ধরন: প্রতিটি কাজ বাস্তব ব্যবহারকারীর সহায়তা চাওয়ার পরিস্থিতি অনুকরণ করে এবং মডেলকে সম্পূর্ণ প্রক্রিয়া সম্পন্ন করতে হয়: সীমাবদ্ধতাসহ চাহিদা বোঝা, তথ্য সংগ্রহ ও তুলনা করা, অগ্রাধিকার নির্ধারণ করে সিদ্ধান্ত নেওয়া এবং ব্যবহারযোগ্য ফলাফল দেওয়া। মূল্যায়নে উত্তরের বিষয়বস্তুর মান নয়, “কাজটি সম্পন্ন হয়েছে কি না” তা বিবেচনা করা হয়। প্রচলিত একাডেমিক বেঞ্চমার্কের প্রশ্নোত্তরভিত্তিক মূল্যায়নের সঙ্গে এর মৌলিক পার্থক্য রয়েছে।
স্কোরিং পদ্ধতি: প্রতিটি কাজের ফলাফলে স্কোর দেওয়ার পর তার গড় হিসেবে সরকারি ব্যবস্থায় আনওয়েটেড গড় পুরস্কারকে মূল সূচক ধরা হয়। এর অর্থ, সম্ভবত একটি স্কোরার রয়েছে, যা মডেলের সরবরাহ করা ফলাফলকে কতটা সম্পূর্ণ হয়েছে তার ভিত্তিতে পুরস্কার দেয়। এই নকশা বৃহৎ পরিসরে স্বয়ংক্রিয় মূল্যায়ন এবং বিভিন্ন সংস্করণের সময়ের সঙ্গে তুলনা সহজ করে; তবে পুরস্কার ফাংশনের সুনির্দিষ্ট গঠন বর্তমানে স্বচ্ছ নয়।
সক্ষমতার ভিত্তি: LifeVal-এ উচ্চ স্কোর পেতে মডেলকে শুধু প্যারামিটারে থাকা জ্ঞান থেকে উত্তর দিলেই চলে না; তাকে বাস্তবে ব্রাউজার, কম্পিউটার ইন্টারফেস এবং তৃতীয় পক্ষের কানেক্টর ব্যবহার করতে হয়। বেঞ্চমার্কটি মূলত তিনটি স্তর একসঙ্গে মূল্যায়ন করে: মডেলের পরিকল্পনা ও যুক্তি করার ক্ষমতা, টুল ব্যবহারের ক্ষমতা এবং বহু ধাপের কাজের সময় নিজেকে সংশোধন করার ক্ষমতা। এর যেকোনো একটি না থাকলে উচ্চ পুরস্কার পাওয়া সম্ভব নয়।

বাস্তব চাহিদা থেকে নেওয়া কাজ: সময়-ব্যবহার জরিপ এবং ৩,৯৯৫ জনের প্রতিনিধিত্বশীল জরিপের ভিত্তিতে তৈরি, যা সাধারণ মানুষ AI-এর সাহায্য যে পরিস্থিতিতে সবচেয়ে বেশি চায় তার সঙ্গে সরাসরি সামঞ্জস্যপূর্ণ।
“সঠিক উত্তর” নয়, “কাজ সম্পন্ন” হওয়া পরিমাপ: জ্ঞানভিত্তিক প্রশ্নোত্তরের সঠিকতার বদলে শুরু থেকে শেষ পর্যন্ত কাজ সম্পন্ন করার মাত্রা মূল্যায়ন করে।
জীবনের গুরুত্বপূর্ণ ক্ষেত্রগুলো অন্তর্ভুক্ত: শিশু যত্ন, স্বাস্থ্য, শিক্ষা, অর্থব্যবস্থা, কেনাকাটা ও সরকারি সেবার মতো উচ্চ-মূল্যের দৈনন্দিন পরিস্থিতি অন্তর্ভুক্ত করে।
Agent সক্ষমতার বিকাশ ত্বরান্বিত করে: পরিকল্পনা, ব্রাউজার পরিচালনা, কম্পিউটার ব্যবহার এবং কানেক্টর কলসহ একাধিক সমন্বিত সক্ষমতা একসঙ্গে মূল্যায়ন করে।
সময়ের সঙ্গে অগ্রগতি অনুসরণে সহায়তা: একই গড় পুরস্কার সূচক ব্যবহার করে মডেলের উন্নতি পরিমাপ করে। এর মাধ্যমে GPT-5.2 থেকে GPT-6 Astra পর্যন্ত স্পষ্ট উন্নতির রেখা সরকারি তথ্যতে দেখানো হয়েছে।
একাডেমিক মূল্যায়নের প্রচলিত ধারা অতিক্রম: “মডেল কতটা বুদ্ধিমান” থেকে মূল্যায়নের কেন্দ্র সরিয়ে “ব্যবহারকারীর জীবনে বাস্তব সহায়তা কতটা” তার দিকে নিয়ে যায়।
পণ্য কৌশলের সঙ্গে গভীরভাবে যুক্ত: অভ্যন্তরীণ প্রশিক্ষণ রিগ্রেশন টেস্ট হিসেবে এটি ChatGPT-কে চ্যাট টুল থেকে ব্যক্তিগত Agent-এ রূপান্তরের কাজে সরাসরি সহায়তা করে।

প্রকল্পের ঠিকানা: https://openai.com/index/lifeval/

মডেল সক্ষমতার রিগ্রেশন টেস্ট: OpenAI অভ্যন্তরীণভাবে এটি ব্যবহার করে GPT-5.2 থেকে GPT-6 Astra পর্যন্ত দৈনন্দিন কাজের কর্মদক্ষতা অনুসরণ করে, যাতে নতুন সংস্করণে অবনতি না ঘটে।
Agent ফিচার উন্নয়নের নির্দেশনা: বেঞ্চমার্কে প্রকাশিত দুর্বলতার ভিত্তিতে ব্রাউজার পরিচালনা, কম্পিউটার ব্যবহার এবং কানেক্টর কলের সক্ষমতায় লক্ষ্যভিত্তিক প্রশিক্ষণ দেওয়া হয়।
নতুন সংস্করণ প্রকাশের মূল্যায়ন: মডেল প্রকাশের “দৈনন্দিন ব্যবহারিকতা”র রিপোর্ট হিসেবে কাজ করে এবং ব্যবহারকারীদের দেখায় যে নতুন সংস্করণটি পুরোনোটির তুলনায় কাজ সম্পন্ন করতে বেশি সক্ষম।
পণ্য ফিচারের অগ্রাধিকার নির্ধারণ: কাজ সম্পন্ন করার তথ্যের ভিত্তিতে শিশু যত্ন বা সরকারি সেবার মতো কোন জীবনক্ষেত্রে গবেষণা ও উন্নয়নের সম্পদ বেশি প্রয়োজন তা নির্ধারণ করা হয়।
শিল্পখাতের মূল্যায়ন পদ্ধতির রেফারেন্স: অন্যান্য AI প্রতিষ্ঠান এর ব্যবহারকারী-গবেষণানির্ভর কাজ নকশার পদ্ধতি অনুসরণ করে চীনা ব্যবহারকারীদের জন্য অনুরূপ দৈনন্দিন কাজের মূল্যায়ন তৈরি করতে পারে।