E-Bench – Bộ chuẩn đánh giá tác tử thông minh do Tencent Hunyuan và các bên phát triển Đang hoạt động

E-Bench là bộ chuẩn đánh giá khả năng sử dụng công cụ qua nhiều bước do nhóm Tencent Hunyuan phối hợp với AIR thuộc Đại học Thanh Hoa và Đại học Đông Nam phát triển. Bộ chuẩn lấy ba sản phẩm thực tế là Vương Giả Vinh Diệu, QQ Music và Tencent Meeting làm nguyên mẫu để xây dựng môi trường ảo tổng hợp hoàn toàn, bao gồm 323 tác vụ thay đổi trạng thái, 41 bảng cơ sở dữ liệu và hơn 7.6 vạn dòng dữ liệu. Thông qua thiết kế bất đối xứng kép giữa khoảng trống thông tin và khoảng trống công cụ, bộ chuẩn buộc tác tử chủ động thu thập thông tin ẩn và điều phối các lệnh gọi công cụ qua nhiều bước. Cuối cùng, hệ thống sử dụng phép diff trạng thái cơ sở dữ liệu mang tính xác định để chấm điểm, qua đó cho thấy giới hạn năng lực của các tác tử AI hiện nay trong bối cảnh sản phẩm thực tế.

Xây dựng môi trường sản phẩm tổng hợp hoàn toàn: Dựa trên kỹ thuật điền dữ liệu cơ sở dữ liệu có hướng dẫn bằng đồ thị, tạo ra thế giới ảo của ba sản phẩm không có bản ghi cô lập và nhất quán giữa các bảng.
Tạo tác vụ với khoảng trống kép: Mô hình ra đề có quyền truy cập đầy đủ vào cơ sở dữ liệu, trong khi mô hình được đánh giá chỉ có thể tương tác thông qua các công cụ nghiệp vụ bị giới hạn, tạo ra sự bất đối xứng kép về thông tin và công cụ.
Đánh giá trạng thái mang tính xác định: Sử dụng diff trạng thái trước và sau thao tác cơ sở dữ liệu làm tiêu chuẩn đánh giá duy nhất; chỉ kết quả khớp chính xác mới được tính là đạt, loại bỏ điểm một phần và phương sai của bên chấm.
Phân tích đồng thời chi phí và hiệu năng: Ghi lại chi phí API của từng tác vụ, vẽ đường biên Pareto giữa độ chính xác và chi phí để đánh giá hiệu quả chi phí của mô hình.
Mở rộng thực thi mã: Phiên bản E-Bench-Code cung cấp công cụ exec_code, cho phép tách riêng độ khó của cơ chế điều phối và khả năng thu thập thông tin.

Điền dữ liệu cơ sở dữ liệu có hướng dẫn bằng đồ thị: Bắt đầu từ schema quan hệ để xây dựng đồ thị phụ thuộc cấp bảng, điền các bảng gốc và bảng hạ nguồn theo thứ tự topo. Sử dụng LLM mạnh làm bộ tổng hợp có ràng buộc, chỉ ghi dữ liệu thông qua công cụ chèn. Các bảng hạ nguồn phải truy vấn thực thể ứng viên từ cơ sở dữ liệu hiện tại. Cuối cùng, dùng tập lệnh mang tính xác định để kiểm tra và sửa các lỗi ngữ nghĩa như thứ tự thời gian và số đếm tổng hợp, bảo đảm môi trường hoàn chỉnh và nhất quán.
Bất đối xứng giữa trình tạo và trình giải: Agent ra đề có đặc quyền query_sql và exec_code, có thể xem toàn bộ cơ sở dữ liệu và thực hiện các phép tính phức tạp; Agent được đánh giá chỉ có thể gọi các công cụ cấp nghiệp vụ, hình thành khoảng trống thông tin (ẩn trạng thái toàn cục) và khoảng trống công cụ (loại bỏ công cụ tính toán nội bộ), buộc mô hình chủ động khám phá môi trường thông qua các lệnh gọi công cụ song song qua nhiều bước.
Viết lại ý định và thay thế quy tắc: Thay thế giá trị cụ thể được suy ra từ cơ sở dữ liệu bằng quy tắc tạo ra giá trị đó, chẳng hạn “thêm tất cả bài hát đã bị gỡ khỏi danh sách yêu thích” thay vì cung cấp trực tiếp ID bài hát, bảo đảm tác vụ không thể được hoàn thành độc lập mà không tương tác với môi trường.
Tạo tác vụ bằng kiểm chứng chéo: Mỗi tác vụ được tạo thông qua chu trình sản phẩm gồm xem dữ liệu → xác định mục tiêu → thay đổi trạng thái → tóm tắt ý định. Ba mô hình Agent mạnh khác nhau sẽ kiểm chứng chéo; chỉ khi ít nhất hai mô hình tái hiện kết quả nhất quán thì tác vụ mới được chấp nhận, bảo đảm tính khả giải và độ chính xác của nhãn.

Chuẩn bị môi trường: Lấy môi trường ảo tổng hợp hoàn toàn E-Bench từ tài nguyên đi kèm bài nghiên cứu, sau đó tải các mẫu cơ sở dữ liệu và 323 tác vụ đánh giá bao phủ ba lĩnh vực sản phẩm là Vương Giả Vinh Diệu, QQ Music và Tencent Meeting.
Chọn phiên bản: Chọn E-Bench cơ bản hoặc E-Bench-Code tùy theo mục tiêu nghiên cứu.
Tích hợp mô hình: Kết nối LLM Agent được đánh giá vào khung đánh giá, cấu hình để mô hình chỉ tương tác gián tiếp với môi trường thông qua các công cụ lĩnh vực bị giới hạn, chẳng hạn tìm bài hát, tạo cuộc họp và thêm bạn bè; không cho phép truy vấn trực tiếp cơ sở dữ liệu nền.
Cấu hình tác vụ: Thiết lập số lần chạy độc lập cho mỗi tác vụ và điều kiện bắt đầu bằng một bản sao cơ sở dữ liệu hoàn toàn mới; bật theo dõi chi phí gọi API để bảo đảm kết quả có thể tái lập.
Thực hiện đánh giá: Khởi chạy đánh giá tự động. Agent tiếp nhận chỉ dẫn bằng ngôn ngữ tự nhiên, tương tác với môi trường ảo và thay đổi trạng thái thông qua các lệnh gọi công cụ qua nhiều bước. Hệ thống tự động ghi lại đầy đủ quỹ đạo thao tác và mức tiêu thụ Token.
Phân tích kết quả: Sau khi đánh giá kết thúc, hệ thống xuất độ chính xác Pass@1 và Pass³ dựa trên diff trạng thái cơ sở dữ liệu mang tính xác định, đồng thời tạo báo cáo phân tích kết hợp chi phí và hiệu năng để hỗ trợ đánh giá hiệu quả chi phí của mô hình.

Nhiễu ở quy mô thực tế: Mỗi cơ sở dữ liệu được điền hơn 7.6 vạn dòng và hơn 60 vạn đơn vị dữ liệu; thực thể mục tiêu bị bao quanh bởi số lượng lớn bản ghi tương tự, khiến mô hình không thể đoán đúng chỉ nhờ môi trường thưa dữ liệu.
Tách rời và tái sử dụng môi trường, tác vụ: Một môi trường sản phẩm nhất quán có thể hỗ trợ tạo khoảng một trăm tác vụ, với chi phí biên rất thấp; lớp môi trường có thể kiểm soát và lớp tác vụ có thể mở rộng.
Đánh giá ổn định, có thể tái lập: Môi trường tổng hợp hoàn toàn không bị ảnh hưởng bởi sự thay đổi của các dịch vụ trực tuyến; phép chấm diff mang tính xác định loại bỏ sai lệch chủ quan của bên chấm ngữ nghĩa.
Phân tầng độ khó rõ ràng: Phiên bản cơ bản kiểm tra khả năng điều phối qua nhiều bước và thu thập thông tin; phiên bản Code kiểm tra thêm khả năng chuyển các tác vụ nặng tính toán sang thực thi mã.

Bài báo kỹ thuật trên arXiv: https://arxiv.org/pdf/2607.23722

Đánh giá năng lực tác tử AI: Cung cấp phương pháp đánh giá tiêu chuẩn hóa và có thể định lượng khả năng sử dụng công cụ qua nhiều bước của LLM Agent, bao phủ các khía cạnh cốt lõi như truy xuất thông tin, thay đổi trạng thái và điều phối xuyên thực thể.
Lựa chọn mô hình và quyết định sản phẩm hóa: Thông qua biểu đồ Pareto giữa chi phí và hiệu năng, hỗ trợ doanh nghiệp cân đối giữa độ chính xác và chi phí API, đồng thời nhận diện các mô hình có hiệu quả chi phí cao.
Tổng hợp dữ liệu huấn luyện tác tử: Là nguồn dữ liệu huấn luyện có thể kiểm soát và mở rộng, dùng để liên tục nâng cao năng lực của Agent trong gọi công cụ qua nhiều bước và độ tin cậy.
Nghiên cứu Agent tăng cường bằng mã: E-Bench-Code hỗ trợ nghiên cứu ranh giới lợi ích của việc thực thi mã đối với các loại tác vụ khác nhau, gồm tác vụ nặng tính toán và tác vụ suy luận, ra quyết định.
Mở rộng bộ chuẩn xuyên lĩnh vực: Phương pháp có thể chuyển giao sang nhiều backend sản phẩm và bối cảnh CLI hơn, thúc đẩy việc xây dựng tiêu chuẩn đánh giá tác tử tổng quát.