LifeVal Đang hoạt động

LifeVal là một tiêu chuẩn đánh giá do OpenAI phát triển, dùng để đo lường khả năng AI hỗ trợ mọi người hoàn thành các công việc hằng ngày. LifeVal được xây dựng dựa trên Khảo sát sử dụng thời gian của Hoa Kỳ, Nghiên cứu sử dụng thời gian đa quốc gia và một khảo sát đại diện với 3995 người. Các nhiệm vụ bao gồm chăm sóc trẻ, y tế, giáo dục, quản trị gia đình, tài chính cá nhân, mua sắm và tiếp cận dịch vụ chính phủ, nhấn mạnh việc mô hình có thực sự “hoàn thành công việc” hay chỉ đưa ra đề xuất. Theo dữ liệu chính thức, trong năm qua, LifeVal đã được sử dụng để đo lường và cải thiện hiệu suất mô hình. Tính theo phần thưởng trung bình không trọng số, điểm trung bình đã tăng từ 49.3% ở GPT-5.2 lên 80.6% ở GPT-6 Astra.

Đo lường năng lực xử lý công việc hằng ngày: Đánh giá hiệu suất của mô hình trong các tình huống đời sống thực như chăm sóc trẻ, y tế, giáo dục, tài chính, mua sắm và dịch vụ chính phủ.
Xây dựng dựa trên nhu cầu thực tế của người dùng: Tham khảo các khảo sát sử dụng thời gian và khảo sát đại diện với 3995 người để lựa chọn những nhiệm vụ người dùng cần AI hỗ trợ nhất.
Kiểm tra khả năng hoàn thành nhiệm vụ đầu cuối: Tập trung vào việc mô hình có thể “hoàn thành công việc” hay không, thay vì chỉ đưa ra câu trả lời hoặc đề xuất theo kiểu trò chuyện.
Theo dõi tiến bộ của mô hình: Dùng để so sánh theo chiều dọc. Dữ liệu chính thức cho thấy điểm số đã tăng từ 49.3% ở GPT-5.2 lên 80.6% ở GPT-6 Astra.
Thúc đẩy cải tiến năng lực Agent: Hỗ trợ đào tạo và tối ưu hóa khả năng sử dụng trình duyệt, thao tác máy tính và gọi công cụ kết nối.
Vượt ra ngoài đánh giá học thuật: Chuyển trọng tâm từ “bài kiểm tra kiến thức” sang đo lường giá trị của AI trong việc giúp người bình thường xử lý các công việc thực tế.

Nguồn nhiệm vụ: Nhiệm vụ của LifeVal đến từ ba loại dữ liệu: Khảo sát sử dụng thời gian của Hoa Kỳ (ATUS), Nghiên cứu sử dụng thời gian đa quốc gia (MTUS) và khảo sát đại diện dân số do OpenAI tự xây dựng với 3,995 người tham gia. Từ các khảo sát sử dụng thời gian, LifeVal trích xuất những hoạt động mà mọi người thực sự dành thời gian thực hiện hằng ngày, sau đó khảo sát bằng bảng hỏi về “sự trợ giúp mà mọi người mong muốn AI cung cấp nhất” cho từng nhiệm vụ, rồi chọn ra các nhiệm vụ có giá trị cao trong những lĩnh vực như chăm sóc, y tế, giáo dục, quản trị gia đình, tài chính, mua sắm và dịch vụ chính phủ.
Hình thức đánh giá: Mỗi nhiệm vụ mô phỏng một tình huống người dùng thực tế cần trợ giúp và yêu cầu mô hình hoàn thành toàn bộ quy trình: hiểu nhu cầu có ràng buộc, thu thập và so sánh thông tin, đưa ra quyết định đánh đổi và bàn giao sản phẩm có thể sử dụng. Đánh giá không tập trung vào chất lượng nội dung câu trả lời mà vào việc “công việc có được hoàn thành hay không”, khác biệt căn bản với hình thức đánh giá trả lời câu hỏi của các benchmark học thuật truyền thống.
Cơ chế chấm điểm: Chỉ số cốt lõi mà OpenAI sử dụng là phần thưởng trung bình (unweighted), tức chấm điểm kết quả hoàn thành của từng nhiệm vụ rồi lấy trung bình. Điều này cho thấy có một bộ chấm điểm đứng phía sau, trao giá trị phần thưởng cho sản phẩm mô hình bàn giao dựa trên mức độ hoàn thành. Thiết kế này thuận tiện cho đánh giá tự động quy mô lớn và so sánh theo chiều dọc giữa các phiên bản, nhưng cấu trúc cụ thể của hàm phần thưởng hiện chưa minh bạch.
Năng lực hỗ trợ: Các nhiệm vụ đạt điểm cao trên LifeVal yêu cầu mô hình thực sự sử dụng trình duyệt, giao diện thao tác máy tính và các công cụ kết nối bên thứ ba, thay vì chỉ trả lời dựa trên kiến thức có sẵn trong tham số. Về bản chất, benchmark đồng thời kiểm tra ba khía cạnh: năng lực lập kế hoạch và suy luận, năng lực gọi công cụ và khả năng tự sửa lỗi trong quá trình thực thi nhiều bước. Thiếu bất kỳ khía cạnh nào cũng không thể đạt phần thưởng cao.

Nhiệm vụ bắt nguồn từ nhu cầu thực tế: Được xây dựng dựa trên các khảo sát sử dụng thời gian và khảo sát đại diện với 3,995 người, trực tiếp bám sát những tình huống người bình thường mong AI hỗ trợ nhất.
Đo lường việc “hoàn thành công việc” thay vì “trả lời đúng”: Đánh giá mức độ hoàn thành nhiệm vụ đầu cuối, thay vì độ chính xác theo kiểu hỏi đáp kiến thức.
Phủ rộng các lĩnh vực cốt lõi của đời sống: Bao gồm những tình huống hằng ngày có giá trị cao như chăm sóc trẻ, y tế, giáo dục, tài chính, mua sắm và dịch vụ chính phủ.
Thúc đẩy tiến hóa năng lực Agent: Đồng thời kiểm tra các năng lực tổng hợp như lập kế hoạch, thao tác trình duyệt, sử dụng máy tính và gọi công cụ kết nối.
Hỗ trợ theo dõi tiến bộ theo chiều dọc: Sử dụng chỉ số phần thưởng trung bình thống nhất để đo lường quá trình cải tiến mô hình. OpenAI đã dùng chỉ số này để cho thấy đường cong cải thiện rõ rệt từ GPT-5.2 đến GPT-6 Astra.
Vượt qua mô hình đánh giá học thuật: Chuyển trọng tâm đánh giá từ “mô hình thông minh đến đâu” sang “giúp ích thực tế cho cuộc sống của người dùng đến mức nào”.
Gắn kết sâu với chiến lược sản phẩm: Là bài kiểm thử hồi quy trong nội bộ, trực tiếp phục vụ quá trình ChatGPT chuyển đổi từ công cụ trò chuyện thành Agent cá nhân.

Địa chỉ dự án：https://openai.com/index/lifeval/

Kiểm thử hồi quy năng lực mô hình: OpenAI sử dụng LifeVal nội bộ để theo dõi hiệu suất xử lý công việc hằng ngày từ GPT-5.2 đến GPT-6 Astra, bảo đảm phiên bản mới không bị suy giảm.
Định hướng cải tiến tính năng Agent: Dựa trên những điểm yếu được benchmark phát hiện để đào tạo có mục tiêu các năng lực thao tác trình duyệt, sử dụng máy tính và gọi công cụ kết nối.
Đánh giá khi phát hành phiên bản mới: Đóng vai trò như bảng điểm về “tính hữu dụng hằng ngày” của mô hình, chứng minh với người dùng rằng phiên bản mới có khả năng hoàn thành công việc tốt hơn phiên bản cũ.
Xếp hạng ưu tiên tính năng sản phẩm: Dựa trên dữ liệu hoàn thành nhiệm vụ để xác định những tình huống đời sống nào, chẳng hạn chăm sóc trẻ và dịch vụ chính phủ, cần được ưu tiên đầu tư nguồn lực nghiên cứu và phát triển.
Tham khảo cho mô hình đánh giá trong ngành: Các nhà cung cấp AI khác có thể tham khảo phương pháp thiết kế nhiệm vụ dựa trên nghiên cứu người dùng để xây dựng các bài đánh giá công việc hằng ngày tương tự dành cho người dùng tiếng Trung.