LifeVal آپریشن میں

LifeVal، OpenAI کی جانب سے تیار کردہ ایک تشخیصی معیار ہے جو یہ جانچتا ہے کہ AI لوگوں کو روزمرہ کام مکمل کرنے میں کس حد تک مدد دے سکتی ہے۔ LifeVal امریکی وقت کے استعمال کے سروے، بین الاقوامی وقت کے استعمال کی تحقیق اور 3,995 افراد پر مشتمل نمائندہ سروے کی بنیاد پر بنایا گیا ہے۔ اس کے کام بچوں کی نگہداشت، صحت، تعلیم، گھریلو انتظام، ذاتی مالیات، خریداری اور سرکاری خدمات حاصل کرنے جیسے شعبوں کا احاطہ کرتے ہیں، اور اس بات پر زور دیتے ہیں کہ ماڈل واقعی ”کام مکمل“ کر سکتا ہے یا صرف تجاویز دے سکتا ہے۔ سرکاری اعداد و شمار کے مطابق، گزشتہ ایک سال کے دوران LifeVal کو ماڈل کی کارکردگی جانچنے اور بہتر بنانے کے لیے استعمال کیا گیا ہے۔ غیر وزنی اوسط انعام کے حساب سے اس کا اوسط اسکور GPT-5.2 کے 49.3% سے بڑھ کر GPT-6 Astra کے 80.6% ہو گیا ہے۔

روزمرہ کاموں کی صلاحیت جانچنا: بچوں کی نگہداشت، صحت، تعلیم، مالیات، خریداری اور سرکاری خدمات جیسے حقیقی زندگی کے حالات میں ماڈل کی کارکردگی کا جائزہ لینا۔
حقیقی صارف کی ضروریات پر مبنی تعمیر: وقت کے استعمال کے سروے اور 3995 افراد پر مشتمل نمائندہ سروے سے رہنمائی لیتے ہوئے وہ کام منتخب کرنا جن میں صارفین کو AI کی مدد سب سے زیادہ درکار ہوتی ہے۔
اختتام تا اختتام کام کی تکمیل کا جائزہ: اس بات پر توجہ دینا کہ ماڈل ”کام مکمل“ کر سکتا ہے یا نہیں، نہ کہ صرف چیٹ جیسا جواب یا مشورہ دے سکتا ہے۔
ماڈل کی پیش رفت کا سراغ لگانا: طولی موازنے کے لیے استعمال، جس میں سرکاری اعداد و شمار کے مطابق اسکور GPT-5.2 کے 49.3% سے بڑھ کر GPT-6 Astra کے 80.6% ہو گیا ہے۔
ایجنٹ کی صلاحیتوں کی مسلسل بہتری: براؤزر استعمال، کمپیوٹر آپریشن اور کنیکٹر ٹولز کال کرنے جیسی صلاحیتوں کی تربیت اور اصلاح کو آگے بڑھانا۔
علمی تشخیص سے آگے: ”علم کا امتحان“ لینے کے بجائے یہ جانچنا کہ AI عام لوگوں کو حقیقی زندگی کے معاملات سنبھالنے میں کتنی قدر فراہم کرتی ہے۔

کاموں کے ذرائع: LifeVal کے کام تین قسم کے ڈیٹا سے آتے ہیں: امریکی وقت کے استعمال کا سروے (ATUS)، کثیر ملکی وقت کے استعمال کی تحقیق (MTUS)، اور OpenAI کا خود تیار کردہ 3,995 جواب دہندگان پر مشتمل آبادیاتی نمائندہ سروے۔ وقت کے استعمال کے سروے سے ان سرگرمیوں کے زمرے اخذ کیے جاتے ہیں جن پر لوگ روزمرہ زندگی میں حقیقتاً وقت صرف کرتے ہیں، پھر سوالنامے کے ذریعے ہر کام کے بارے میں پوچھا جاتا ہے کہ ”لوگ AI سے کس قسم کی مدد چاہتے ہیں“۔ اس طرح نگہداشت، صحت، تعلیم، گھریلو انتظام، مالیات، خریداری اور سرکاری خدمات جیسے شعبوں میں اعلیٰ قدر والے کام منتخب کیے جاتے ہیں۔
تشخیصی طریقہ: ہر کام میں حقیقی صارف کے مدد طلب کرنے کے منظرنامے کی نقل کی جاتی ہے، اور ماڈل سے مکمل عمل انجام دینے کا تقاضا کیا جاتا ہے: پابندیوں والی ضرورت کو سمجھنا، معلومات جمع کرنا اور ان کا موازنہ کرنا، ترجیحات کے فیصلے کرنا، اور قابلِ استعمال نتیجہ فراہم کرنا۔ تشخیص میں جواب کے متن کے معیار کے بجائے یہ دیکھا جاتا ہے کہ ”کام مکمل ہوا یا نہیں“، جو روایتی علمی benchmark کے سوال جواب پر مبنی جائزے سے بنیادی طور پر مختلف ہے۔
اسکورنگ کا طریقہ: سرکاری طور پر اوسط انعام (unweighted) کو بنیادی پیمانہ بنایا جاتا ہے، یعنی ہر کام کی تکمیل کے نتیجے کو اسکور دینے کے بعد ان کا اوسط نکالا جاتا ہے۔ اس سے ظاہر ہوتا ہے کہ پس منظر میں کوئی اسکورر موجود ہے جو ماڈل کے فراہم کردہ نتیجے کو تکمیل کی سطح کے مطابق انعامی قدر دیتا ہے۔ یہ ڈیزائن بڑے پیمانے پر خودکار تشخیص اور مختلف ورژنز کے درمیان طولی موازنے کے لیے موزوں ہے، تاہم انعامی فنکشن کی مخصوص ساخت فی الحال شفاف نہیں ہے۔
صلاحیتوں کی بنیاد: LifeVal میں اعلیٰ اسکور والے کاموں کے لیے ماڈل کو صرف اپنے داخلی معلوماتی علم پر انحصار کرنے کے بجائے براؤزر، کمپیوٹر انٹرفیس اور فریقِ ثالث کنیکٹرز کا حقیقی استعمال کرنا پڑتا ہے۔ یہ benchmark بنیادی طور پر تین سطحوں کی بیک وقت جانچ کرتا ہے: ماڈل کی منصوبہ بندی اور استدلال کی صلاحیت، ٹولز استعمال کرنے کی صلاحیت، اور متعدد مراحل پر مشتمل عمل کے دوران خود اصلاح کی صلاحیت۔ ان میں سے کسی ایک کی کمی کی صورت میں اعلیٰ انعام حاصل نہیں کیا جا سکتا۔

کام حقیقی ضروریات سے اخذ کیے گئے ہیں: وقت کے استعمال کے سروے اور 3,995 افراد پر مشتمل نمائندہ سروے کی بنیاد پر، یہ براہِ راست ان حالات سے ہم آہنگ ہے جن میں عام لوگ AI سے مدد چاہتے ہیں۔
”کام مکمل“ ہونے کی پیمائش، ”سوال کا درست جواب“ دینے کی نہیں: علم پر مبنی سوال جواب کی درستگی کے بجائے اختتام تا اختتام کام کی تکمیل کی سطح کا جائزہ لینا۔
زندگی کے بنیادی شعبوں کا احاطہ: بچوں کی نگہداشت، صحت، تعلیم، مالیات، خریداری اور سرکاری خدمات جیسے اعلیٰ قدر والے روزمرہ حالات شامل کرنا۔
ایجنٹ کی صلاحیتوں کے ارتقا کو آگے بڑھانا: منصوبہ بندی، براؤزر آپریشن، کمپیوٹر استعمال اور کنیکٹر کالنگ جیسی مرکب صلاحیتوں کی بیک وقت جانچ۔
طولی پیش رفت کی نگرانی میں معاونت: ماڈل کی تکراری بہتری کو یکساں اوسط انعامی پیمانے سے ناپنا، جس کے ذریعے سرکاری طور پر GPT-5.2 سے GPT-6 Astra تک واضح بہتری کا رجحان دکھایا گیا ہے۔
علمی تشخیص کے روایتی نمونے سے آگے: توجہ ”ماڈل کتنا ذہین ہے“ سے ہٹا کر ”یہ صارف کی زندگی میں کتنی حقیقی مدد فراہم کرتا ہے“ پر مرکوز کرنا۔
مصنوعاتی حکمتِ عملی سے گہرا تعلق: اندرونی تربیتی ریگریشن ٹیسٹ کے طور پر، یہ ChatGPT کو چیٹ ٹول سے ذاتی ایجنٹ میں تبدیل کرنے کے عمل کی براہِ راست معاونت کرتا ہے۔

پروجیکٹ پتہ: https://openai.com/index/lifeval/

ماڈل کی کارکردگی کا ریگریشن ٹیسٹ: OpenAI اندرونی طور پر اسے GPT-5.2 سے GPT-6 Astra تک روزمرہ کاموں کی کارکردگی پر نظر رکھنے کے لیے استعمال کرتا ہے، تاکہ نئے ورژن کی کارکردگی میں کمی نہ آئے۔
ایجنٹ کی خصوصیات کی تکراری بہتری کی رہنمائی: benchmark سے سامنے آنے والی کمزوریوں کی بنیاد پر براؤزر آپریشن، کمپیوٹر استعمال اور کنیکٹر کالنگ کی صلاحیتوں کی ہدفی تربیت۔
نئے ورژن کی ریلیز کا جائزہ: ماڈل ریلیز کے لیے ”روزمرہ افادیت“ کی رپورٹ کے طور پر استعمال، تاکہ صارفین کو دکھایا جا سکے کہ نیا ورژن پرانے ورژن کے مقابلے میں کام مکمل کرنے میں زیادہ مؤثر ہے۔
مصنوعاتی خصوصیات کی ترجیحات طے کرنا: کام کی تکمیل کے ڈیٹا کی بنیاد پر یہ فیصلہ کرنا کہ کن زندگی کے حالات، مثلاً بچوں کی نگہداشت یا سرکاری خدمات، میں تحقیق و ترقی کے وسائل کی سب سے زیادہ ضرورت ہے۔
صنعتی تشخیصی نمونے کے لیے حوالہ: دیگر AI کمپنیاں اس کے صارف تحقیق سے رہنمائی لینے والے کاموں کے ڈیزائن کے طریقۂ کار سے فائدہ اٹھا کر چینی صارفین کے لیے اسی نوعیت کی روزمرہ کاموں کی تشخیص تیار کر سکتی ہیں۔