LifeVal 운영 중

LifeVal은 OpenAI가 출시한 평가 벤치마크로, AI가 사람들이 일상적인 업무를 수행하도록 돕는 능력을 측정합니다. LifeVal은 미국 시간 사용 조사, 다국가 시간 사용 연구 및 3,995명을 대상으로 한 대표성 조사에 기반해 구축되었으며, 보육, 건강, 교육, 가정 행정, 개인 재정, 쇼핑, 정부 서비스 이용 등의 분야를 다룹니다. 단순히 조언을 제공하는 데 그치지 않고 모델이 실제로 ”일을 처리할 수 있는지”를 중점적으로 평가합니다. 공식 자료에 따르면 지난 1년 동안 LifeVal을 활용해 모델 성능을 측정하고 개선했으며, 비가중 평균 보상 기준 평균 점수는 GPT-5.2의 49.3%에서 GPT-6 Astra의 80.6%로 상승했습니다.

일상 업무 능력 측정: 보육, 건강, 교육, 재정, 쇼핑, 정부 서비스 등 실제 생활 상황에서 모델의 성능을 평가합니다.
실제 사용자 요구를 기반으로 구축: 시간 사용 조사와 3,995명을 대상으로 한 대표성 조사를 참고해 사용자가 AI의 도움을 가장 필요로 하는 업무를 선정합니다.
엔드투엔드 업무 완료 평가: 단순한 대화형 답변이나 조언이 아니라 모델이 ”일을 처리할 수 있는지”에 주목합니다.
모델 발전 추적: 종단 비교에 활용되며, 공식 자료에 따르면 점수는 GPT-5.2의 49.3%에서 GPT-6 Astra의 80.6%로 상승했습니다.
에이전트 능력의 반복 개선 지원: 브라우저 사용, 컴퓨터 조작, 커넥터 도구 호출 등의 능력에 대한 훈련과 최적화를 촉진합니다.
학술 평가를 넘어선 측정: ”지식 시험”에서 벗어나 AI가 일반인의 실제 생활 업무 처리를 얼마나 유용하게 지원하는지를 측정합니다.

업무 출처: LifeVal의 업무는 미국 시간 사용 조사(ATUS), 다국가 시간 사용 연구(MTUS), 그리고 OpenAI가 자체적으로 구축한 3,995명 응답자 대상 인구 대표성 조사라는 세 가지 데이터에서 도출됩니다. 시간 사용 조사에서 사람들이 일상적으로 실제 시간을 쓰는 활동 범주를 추출한 뒤, 설문조사를 통해 각 업무에서 ”AI가 어떤 도움을 주기를 가장 원하는지”를 조사하여 돌봄, 건강, 교육, 가정 행정, 재정, 쇼핑, 정부 서비스 등 분야의 고가치 업무를 선별합니다.
평가 방식: 각 업무는 실제 사용자의 도움 요청 상황을 모방하며, 모델은 제약이 있는 요구 사항을 이해하고, 정보를 수집·비교하며, 선택과 결정을 내리고, 활용 가능한 결과물을 제공하는 전체 과정을 완료해야 합니다. 평가는 답변 내용의 품질이 아니라 ”일이 실제로 처리되었는지”에 초점을 맞추며, 전통적인 학술 벤치마크의 문제 풀이형 평가와 본질적으로 다릅니다.
점수 산정 방식: 공식적으로는 비가중 평균 보상을 핵심 지표로 사용합니다. 각 업무의 완료 결과에 점수를 매긴 뒤 평균을 내는 방식입니다. 이는 모델이 제공한 결과물에 대해 완료도에 따른 보상값을 부여하는 일종의 평가기가 존재한다는 의미입니다. 이 설계는 대규모 자동화 평가와 버전 간 종단 비교에 적합하지만, 보상 함수의 구체적인 구성은 현재 공개되지 않았습니다.
능력 지원: LifeVal에서 높은 점수를 받으려면 모델은 매개변수에 저장된 지식만으로 답하는 것이 아니라 실제로 브라우저, 컴퓨터 조작 인터페이스 및 타사 커넥터를 사용해야 합니다. 이 벤치마크는 본질적으로 모델의 계획 및 추론 능력, 도구 호출 능력, 다단계 실행 과정에서의 자기 수정 능력이라는 세 가지 측면을 동시에 평가하며, 어느 하나라도 부족하면 높은 보상을 받을 수 없습니다.

실제 요구에서 출발한 업무: 시간 사용 조사와 3,995명을 대상으로 한 대표성 조사를 바탕으로 구축되어 일반인이 AI의 도움을 가장 원하는 상황과 직접 연결됩니다.
”문제를 맞히는 것”이 아니라 ”일을 처리하는 것”을 측정: 지식 문답식 정답률이 아니라 엔드투엔드 업무 완료도를 평가합니다.
생활의 핵심 분야를 포괄: 보육, 건강, 교육, 재정, 쇼핑, 정부 서비스 등 가치가 높은 일상 상황을 다룹니다.
에이전트 능력의 발전 촉진: 계획 수립, 브라우저 조작, 컴퓨터 사용, 커넥터 호출 등의 복합 능력을 동시에 평가합니다.
종단적 발전 추적 지원: 통일된 평균 보상 지표로 모델의 반복 개선을 측정하며, 공식 자료는 이를 통해 GPT-5.2에서 GPT-6 Astra로 이어지는 뚜렷한 향상 곡선을 보여줍니다.
학술 평가 패러다임을 초월: ”모델이 얼마나 똑똑한가”에서 ”사용자의 생활에 얼마나 실질적인 도움을 주는가”로 평가의 중심을 옮깁니다.
제품 전략과 긴밀하게 연계: 내부 훈련 회귀 테스트로 활용되어 ChatGPT를 대화 도구에서 개인 에이전트로 전환하는 데 직접 기여합니다.

프로젝트 주소：https://openai.com/index/lifeval/

모델 능력 회귀 테스트: OpenAI 내부에서 GPT-5.2부터 GPT-6 Astra까지 일상 업무 성능을 추적하여 새 버전의 성능이 저하되지 않도록 합니다.
에이전트 기능 반복 개선 지침: 벤치마크에서 드러난 취약점을 바탕으로 브라우저 조작, 컴퓨터 사용, 커넥터 호출 능력을 집중적으로 훈련합니다.
새 버전 출시 평가: 모델 출시의 ”일상적 실용성” 성적표로 활용되어 새 버전이 이전 버전보다 업무를 더 잘 처리할 수 있음을 사용자에게 보여줍니다.
제품 기능 우선순위 결정: 업무 완료 데이터를 바탕으로 보육, 정부 서비스 등 어떤 생활 상황에 연구개발 자원을 우선적으로 투입해야 하는지 판단합니다.
업계 평가 패러다임의 참고 사례: 다른 AI 기업은 사용자 조사에 기반한 업무 설계 방법론을 참고하여 중국어 사용자를 대상으로 한 유사한 일상 업무 평가를 구축할 수 있습니다.