LifeVal Inafanya kazi

LifeVal ni kipimo cha tathmini kilichozinduliwa na OpenAI, kinachopima uwezo wa AI kuwasaidia watu kukamilisha majukumu ya kila siku. LifeVal imejengwa kwa kutumia Utafiti wa Matumizi ya Muda wa Marekani, tafiti za kimataifa za matumizi ya muda, pamoja na utafiti wakilishi uliowahusisha watu 3995. Majukumu hayo yanahusu malezi ya watoto, afya, elimu, usimamizi wa kaya, fedha binafsi, ununuzi na kupata huduma za serikali, huku msisitizo ukiwa kama modeli inaweza kweli “kukamilisha jambo” badala ya kutoa mapendekezo pekee. Takwimu rasmi zinaonyesha kuwa katika mwaka uliopita, LifeVal ilitumika kupima na kuboresha utendaji wa modeli; kwa wastani wa zawadi usio na uzani, alama ya wastani ilipanda kutoka 49.3% ya GPT-5.2 hadi 80.6% ya GPT-6 Astra.

Kupima uwezo wa kushughulikia majukumu ya kila siku: Hutathmini utendaji wa modeli katika mazingira halisi ya maisha kama malezi ya watoto, afya, elimu, fedha, ununuzi na huduma za serikali.
Kujengwa kutokana na mahitaji halisi ya watumiaji: Hutumia tafiti za matumizi ya muda na utafiti wakilishi wa watu 3995 ili kuchagua majukumu ambayo watumiaji wanahitaji zaidi msaada wa AI.
Kuchunguza ukamilishaji wa majukumu kutoka mwanzo hadi mwisho: Huzingatia kama modeli inaweza “kukamilisha jambo”, badala ya kutoa majibu au mapendekezo ya mazungumzo pekee.
Kufuatilia maendeleo ya modeli: Hutumika kwa ulinganisho wa muda mrefu; takwimu rasmi zinaonyesha alama zilipanda kutoka 49.3% ya GPT-5.2 hadi 80.6% ya GPT-6 Astra.
Kuchochea uboreshaji wa uwezo wa Agent: Husaidia kuendeleza mafunzo na uboreshaji wa matumizi ya kivinjari, uendeshaji wa kompyuta na matumizi ya zana za viunganishi.
Kuvuka tathmini za kitaaluma: Huhamisha mkazo kutoka “mtihani wa maarifa” hadi kupima thamani ya AI katika kuwasaidia watu wa kawaida kushughulikia mambo halisi ya maisha.

Chanzo cha majukumu: Majukumu ya LifeVal yanatokana na aina tatu za data: Utafiti wa Matumizi ya Muda wa Marekani (ATUS), Utafiti wa Kimataifa wa Matumizi ya Muda (MTUS), na utafiti wa OpenAI wenye uwakilishi wa idadi ya watu uliowahusisha wahojiwa 3,995. Kutokana na tafiti za matumizi ya muda, shughuli ambazo watu hutumia muda wao kufanya kila siku hutolewa, kisha dodoso huuliza “ungependa AI ikusaidie vipi zaidi” kwa kila jukumu. Hivyo huchaguliwa majukumu yenye thamani kubwa katika malezi, afya, elimu, usimamizi wa kaya, fedha, ununuzi na huduma za serikali.
Aina ya tathmini: Kila jukumu huiga hali halisi ya mtumiaji anayeomba msaada na huhitaji modeli kukamilisha mchakato mzima: kuelewa mahitaji yenye masharti, kukusanya na kulinganisha taarifa, kufanya maamuzi ya kuchagua, na kutoa matokeo yanayoweza kutumika. Tathmini haizingatii ubora wa maudhui ya jibu pekee, bali kama “jambo limekamilishwa”, jambo ambalo ni tofauti kimsingi na tathmini za jadi za benchmark za kitaaluma zinazotegemea kujibu maswali.
Mbinu ya utoaji alama: OpenAI hutumia wastani wa zawadi (unweighted) kama kiashiria kikuu. Hii ni wastani unaopatikana baada ya kutoa alama kwa matokeo ya kila jukumu. Inaashiria kuwepo kwa mfumo fulani wa kutoa alama unaotathmini kiwango cha ukamilifu wa matokeo yaliyowasilishwa na modeli na kutoa thamani ya zawadi. Muundo huu unawezesha tathmini ya kiotomatiki kwa kiwango kikubwa na ulinganisho wa matoleo kwa muda, ingawa muundo kamili wa kazi ya zawadi bado haujawekwa wazi.
Msaada wa uwezo: Majukumu yenye alama za juu katika LifeVal yanahitaji modeli itumie kivinjari, kiolesura cha uendeshaji wa kompyuta na viunganishi vya wahusika wengine, badala ya kujibu kwa kutegemea maarifa yaliyomo kwenye vigezo vyake pekee. Kwa asili, benchmark hii huchunguza kwa pamoja viwango vitatu: uwezo wa modeli wa kupanga na kufikiri, uwezo wa kutumia zana, na uwezo wa kujirekebisha wakati wa utekelezaji wa hatua nyingi. Kukosekana kwa mojawapo kunazuia kupata zawadi ya juu.

Majukumu yanatokana na mahitaji halisi: Yamejengwa kwa kutumia tafiti za matumizi ya muda na utafiti wakilishi wa watu 3,995, hivyo yanaendana moja kwa moja na mazingira ambayo watu wa kawaida wangependa AI iwasaidie.
Kupima “kukamilisha jambo” badala ya “kujibu swali kwa usahihi”: Hutathmini kiwango cha ukamilishaji wa jukumu kutoka mwanzo hadi mwisho, badala ya usahihi wa maswali ya maarifa.
Kufunika maeneo muhimu ya maisha: Yanahusisha mazingira ya kila siku yenye thamani kubwa kama malezi ya watoto, afya, elimu, fedha, ununuzi na huduma za serikali.
Kuchochea maendeleo ya uwezo wa Agent: Huchunguza kwa pamoja uwezo changamano wa kupanga, kuendesha kivinjari, kutumia kompyuta na kutumia viunganishi.
Kuwezesha ufuatiliaji wa maendeleo kwa muda: Hutumia kiashiria kimoja cha wastani wa zawadi kupima maboresho ya modeli; OpenAI imetumia mfumo huu kuonyesha ongezeko wazi kutoka GPT-5.2 hadi GPT-6 Astra.
Kuvuka mtindo wa tathmini za kitaaluma: Huhamisha mkazo kutoka “modeli ina akili kiasi gani” hadi “inawasaidia watumiaji kwa kiwango gani katika maisha halisi”.
Kuhusishwa kwa karibu na mkakati wa bidhaa: Kama jaribio la ndani la kurudia mafunzo, hutumikia moja kwa moja mabadiliko ya ChatGPT kutoka zana ya mazungumzo hadi Agent binafsi.

Anwani ya mradi: https://openai.com/index/lifeval/

Jaribio la kurudia kupima uwezo wa modeli: OpenAI huitumia ndani kufuatilia utendaji wa GPT-5.2 hadi GPT-6 Astra katika majukumu ya kila siku na kuhakikisha matoleo mapya hayapotezi uwezo.
Kuelekeza uboreshaji wa vipengele vya Agent: Kulingana na maeneo dhaifu yanayoonekana kwenye benchmark, hutoa mafunzo yaliyolengwa kwa uwezo wa kuendesha kivinjari, kutumia kompyuta na kutumia viunganishi.
Tathmini ya matoleo mapya: Hutumika kama alama ya “manufaa ya kila siku” ya kutolewa kwa modeli, kuwaonyesha watumiaji kuwa toleo jipya linaweza kukamilisha mambo kwa ufanisi zaidi kuliko la zamani.
Kupanga vipaumbele vya vipengele vya bidhaa: Hutumia data ya ukamilishaji wa majukumu kuamua ni mazingira yapi ya maisha, kama malezi ya watoto na huduma za serikali, yanahitaji rasilimali zaidi za utafiti na maendeleo.
Rejeleo la mbinu za tathmini kwa sekta: Watoa huduma wengine wa AI wanaweza kujifunza kutokana na mbinu yake ya kubuni majukumu inayoendeshwa na utafiti wa watumiaji na kujenga tathmini zinazofanana za majukumu ya kila siku kwa watumiaji wa lugha ya Kichina.