LifeVal 運営中

LifeValは、AIが人々の日常的なタスクを完了する能力を測定するためにOpenAIが開発した評価ベンチマークです。LifeValは、米国の時間利用調査、国際的な時間利用研究、および3995人を対象とした代表性調査に基づいて構築されています。対象タスクは、育児、健康、教育、家庭の事務、個人財務、買い物、政府サービスの利用などの分野に及び、モデルが単に提案をするだけでなく、実際に「用事を成し遂げられるか」を重視します。公式データによると、過去1年間にLifeValを用いてモデルの性能が測定・改善され、非加重平均報酬で見る平均スコアはGPT-5.2の49.3%からGPT-6 Astraの80.6%へ向上しました。

日常タスク能力の測定：育児、健康、教育、財務、買い物、政府サービスなど、現実の生活場面におけるモデルの性能を評価します。
実際のユーザーニーズに基づく構築：時間利用調査と3995人を対象とした代表性調査を参照し、ユーザーがAIの支援を最も必要とするタスクを選定します。
エンドツーエンドのタスク完了を評価：モデルがチャット形式の回答や提案をするだけでなく、「用事を成し遂げられるか」に注目します。
モデルの進歩を追跡：縦断的な比較に利用でき、公式データではスコアがGPT-5.2の49.3%からGPT-6 Astraの80.6%へ向上しています。
エージェント能力の反復改善を促進：ブラウザー操作、コンピューター操作、コネクターツールの呼び出しなどの能力の訓練と最適化を推進します。
学術評価を超える：評価の軸を「知識テスト」から、AIが一般の人々の実際の生活上の用事を処理する価値の測定へ移します。

タスクの出典：LifeValのタスクは、米国時間利用調査（ATUS）、国際時間利用研究（MTUS）、およびOpenAIが独自に実施した3995人の回答者を対象とする人口代表性調査という3種類のデータに由来します。時間利用調査から、人々が日常生活で実際に時間を費やしている活動項目を抽出し、さらにアンケートで各タスクについて「AIにどのような支援を最も期待するか」を調べます。その結果から、ケア、健康、教育、家庭の事務、財務、買い物、政府サービスなどの分野で価値の高いタスクを選び出します。
評価形式：各タスクは現実のユーザーからの依頼場面をシミュレーションし、モデルに一連の完全なプロセスを実行させます。制約のあるニーズを理解し、情報を収集・比較し、取捨選択の判断を行い、実用可能な成果物を提供することが求められます。評価の焦点は回答内容の質ではなく、「用事が成し遂げられたかどうか」です。これは従来の学術ベンチマークにおける解答形式の評価とは本質的に異なります。
スコアリングの仕組み：公式には、中心指標として平均報酬（unweighted）を使用します。これは各タスクの完了結果を採点し、その平均を取るものです。つまり、モデルが提供した成果物に対して、完了度に応じた報酬値を与える何らかの評価器が背後に存在します。この設計により、大規模な自動評価とバージョン間の縦断的比較が容易になりますが、報酬関数の具体的な構成は現在のところ不透明です。
能力を支える要素：LifeValで高いスコアを得るタスクでは、モデルはパラメーター内の知識だけで回答するのではなく、実際にブラウザー、コンピューター操作画面、サードパーティーのコネクターを使用する必要があります。ベンチマークは本質的に、モデルの計画・推論能力、ツール呼び出し能力、複数ステップの実行における自己修正能力という3つの側面を同時に評価します。どれか1つが欠けても高い報酬は得られません。

実際のニーズに基づくタスク：時間利用調査と3995人を対象とした代表性調査に基づき、一般の人々がAIに最も助けてほしい場面に直接対応します。
「問題に正解する」より「用事を成し遂げる」ことを測定：知識問答形式の正答率ではなく、エンドツーエンドのタスク完了度を評価します。
生活の主要分野を網羅：育児、健康、教育、財務、買い物、政府サービスなど、価値の高い日常場面を対象にします。
エージェント能力の進化を促進：計画、ブラウザー操作、コンピューター利用、コネクター呼び出しなど、複合的な能力を同時に評価します。
進歩の縦断的な追跡を支援：統一された平均報酬指標でモデルの反復改善を測定し、公式にはGPT-5.2からGPT-6 Astraへの明確な向上曲線が示されています。
学術評価の枠組みを超える：評価の重心を「モデルがどれほど賢いか」から「ユーザーの生活にどれほど実際に役立つか」へ移します。
製品戦略と深く連携：内部の訓練回帰テストとして、ChatGPTをチャットツールからパーソナルエージェントへ転換する取り組みに直接役立てられます。

プロジェクトURL：https://openai.com/index/lifeval/

モデル能力の回帰テスト：OpenAI内部でGPT-5.2からGPT-6 Astraまでの日常タスク性能を追跡し、新バージョンで性能が低下していないことを確認します。
エージェント機能の改善指針：ベンチマークで明らかになった弱点に応じて、ブラウザー操作、コンピューター利用、コネクター呼び出し能力を重点的に訓練します。
新バージョンのリリース評価：モデルリリースにおける「日常的な実用性」の成績表として、新バージョンが旧版よりも用事を成し遂げられることをユーザーに示します。
製品機能の優先順位付け：タスク完了データに基づき、育児や政府サービスなど、どの生活場面に研究開発リソースを重点投入すべきかを判断します。
業界評価の参考モデル：他のAI事業者は、ユーザー調査に基づいてタスクを設計する方法論を参考にし、中国語ユーザー向けの同様の日常タスク評価を構築できます。