LifeVal 运营中

LifeVal 是 OpenAI 推出的评测基准，用于衡量 AI 帮助人们完成日常任务的能力。LifeVal 基于美国时间使用调查、跨国时间使用研究及一项覆盖 3995 人的代表性调查构建，任务涵盖托育、健康、教育、家庭行政、个人财务、购物和获取政府服务等领域，强调模型能否真正”办成事”仅给出建议。官方数据显示，过去一年已用 LifeVal 衡量并改进模型表现，按未加权平均奖励计算，其平均成绩已从 GPT-5.2 的 49.3% 提升至 GPT-6 Astra 的 80.6%。

衡量日常任务能力：评估模型在托育、健康、教育、财务、购物、政府服务等真实生活场景中的表现。
基于真实用户需求构建：参考时间使用调查和 3995 人代表性调查，选取用户最需要 AI 协助的任务。
考察端到端任务完成：关注模型能否”办成事”，而非仅给出聊天式回答或建议。
跟踪模型进步：用于纵向对比，官方数据显示成绩从 GPT-5.2 的 49.3% 提升至 GPT-6 Astra 的 80.6%。
驱动 Agent 能力迭代：推动浏览器使用、电脑操作、连接器工具调用等能力的训练与优化。
超越学术测评：从”知识考试”转向衡量 AI 帮普通人处理实际生活事务的价值。

任务来源：LifeVal 的任务来自三类数据：美国时间使用调查（ATUS）、跨国时间使用研究（MTUS），以及 OpenAI 自建的覆盖 3,995 名受访者的人口代表性调查。从时间使用调查中提取人们日常实际花时间的活动类目，再通过问卷调查每个任务上”最希望 AI 提供什么帮助”，筛选出照护、健康、教育、家庭行政、财务、购物、政府服务等领域的高价值任务。
评测形式：每个任务模拟真实用户求助场景，要求模型完成完整流程：理解带约束的需求、搜集和比对信息、做出取舍决策，并交付可用成果。评测关注的不是回答内容质量，而是”事情是否被办成”，与传统学术 benchmark 的答题式评测有本质区别。
评分机制：官方用平均奖励（unweighted）作为核心指标，即对每个任务的完成结果打分后取平均。意味着背后存在某种评分器，对模型交付的成果按完成度给予奖励值。设计便于大规模自动化评测和跨版本纵向对比，奖励函数的具体构成目前不透明。
能力支撑：LifeVal 的高分任务要求模型实际使用浏览器、电脑操作界面和第三方连接器，而非仅凭参数内知识回答。基准本质上同时考察三个层面：模型的规划推理能力、工具调用能力，以及多步骤执行中的自我纠错能力，缺一都无法拿到高奖励。

任务源于真实需求：基于时间使用调查和 3,995 人代表性调查构建，直接对齐普通人最希望 AI 帮忙的场景。
衡量”办成事”而非”答对题”：评估端到端任务完成度，而非知识问答式的正确率。
覆盖生活核心领域：涵盖托育、健康、教育、财务、购物、政府服务等高价值日常场景。
驱动 Agent 能力进化：同时考察规划、浏览器操作、电脑使用和连接器调用等复合能力。
支持纵向进步追踪：用统一的平均奖励指标衡量模型迭代，官方借此展示了从 GPT-5.2 到 GPT-6 Astra 的清晰提升曲线。
超越学术评测范式：把评估重心从”模型多聪明”转向”对用户生活有多大实际帮助”。
与产品战略深度绑定：作为内部训练回归测试，直接服务于 ChatGPT 从聊天工具向个人 Agent 的转型。

项目地址：https://openai.com/index/lifeval/

模型能力回归测试：OpenAI 内部用它跟踪 GPT-5.2 到 GPT-6 Astra 的日常任务表现，确保新版本不退化。
Agent 功能迭代指导：根据基准暴露的薄弱环节，针对性训练浏览器操作、电脑使用和连接器调用能力。
新版本发布评估：作为模型发布的”日常实用性”成绩单，向用户证明新版本比旧版更能办成事。
产品功能优先级排序：依据任务完成数据判断哪些生活场景（如托育、政府服务）最需要投入研发资源。
行业评测范式参考：其他 AI 厂商可借鉴其用户调研驱动任务设计的方法论，构建面向中文用户的类似日常任务评测。