E-Bench – 텐센트 위안바오 등이 출시한 에이전트 평가 벤치마크 운영 중

E-Bench는 텐센트 위안바오 팀이 칭화대학교 AIR, 동남대학교와 공동으로 출시한 다단계 도구 사용 평가 벤치마크입니다. 왕저룽야오, QQ 뮤직, 텐센트 회의라는 세 가지 실제 제품을 원형으로 완전 합성 가상 환경을 구축했으며, 323개의 상태 변경 작업, 41개의 데이터베이스 테이블, 7.6만 건 이상의 데이터를 포함합니다. 정보 격차와 도구 격차의 이중 비대칭 설계를 통해 에이전트가 숨겨진 정보를 능동적으로 수집하고 여러 단계의 도구 호출을 조율하도록 유도합니다. 최종적으로 결정론적 데이터베이스 상태 diff를 사용해 평가함으로써 실제 제품 시나리오에서 현재 AI 에이전트의 역량 한계를 드러냅니다.

완전 합성 제품 환경 구축: 그래프 기반 데이터베이스 채우기 기술을 바탕으로 고립된 레코드가 없고 테이블 간 일관성이 유지되는 세 가지 제품의 가상 세계를 생성합니다.
이중 격차 작업 생성: 출제 모델은 전체 데이터베이스에 접근할 수 있지만, 평가 대상 모델은 제한된 비즈니스 도구를 통해서만 상호작용할 수 있어 정보와 도구의 이중 비대칭을 형성합니다.
결정론적 상태 평가: 데이터베이스 조작 전후의 상태 diff를 유일한 평가 기준으로 사용하며, 정확히 일치해야 통과로 판정해 부분 점수와 평가자 편차를 배제합니다.
비용·성능 통합 분석: 각 작업의 API 비용을 동시에 기록하고 정확도와 비용의 파레토 프런티어를 그려 모델의 가성비를 평가합니다.
코드 실행 확장: E-Bench-Code 버전은 exec_code 도구를 제공하여 조율 메커니즘과 정보 획득이라는 두 가지 난이도를 분리할 수 있습니다.

그래프 기반 데이터베이스 채우기: 관계형 스키마에서 출발해 테이블 수준의 의존성 그래프를 구축하고, 위상 순서에 따라 루트 테이블과 하위 테이블을 채웁니다. 강력한 LLM을 제약된 합성기로 사용해 삽입 도구를 통해서만 데이터를 기록하며, 하위 테이블은 반드시 현재 데이터베이스에서 후보 엔터티를 조회해야 합니다. 마지막으로 결정론적 스크립트를 사용해 시간 순서와 집계 수 등의 의미 오류를 검증하고 수정하여 환경의 완전성과 일관성을 보장합니다.
생성기-해결기 비대칭: 출제 Agent는 query_sql 및 exec_code 권한을 보유하여 전체 데이터베이스를 확인하고 복잡한 계산을 수행할 수 있습니다. 반면 평가 대상 Agent는 비즈니스 수준의 도구만 호출할 수 있어 정보 격차(전역 상태 숨김)와 도구 격차(내부 계산 도구 제거)가 형성됩니다. 이에 따라 모델은 여러 단계의 병렬 도구 호출을 통해 환경을 능동적으로 탐색해야 합니다.
의도 재작성과 규칙 치환: 데이터베이스에서 파생된 구체적인 값을 이를 생성한 규칙으로 치환합니다. 예를 들어 노래 ID를 직접 제공하는 대신 “즐겨찾기에 있는 모든 판매 중지 노래를 추가해”라고 표현하여, 환경과의 상호작용 없이 작업을 독립적으로 완료할 수 없도록 합니다.
교차 검증 작업 생성: 각 작업은 데이터 확인→목표 결정→상태 수정→의도 요약이라는 제품화된 순환 과정을 거쳐 생성됩니다. 서로 다른 세 개의 강력한 Agent 모델이 교차 검증하며, 최소 두 모델이 동일한 결과를 재현한 경우에만 채택하여 작업의 해결 가능성과 라벨링 정확도를 보장합니다.

환경 준비: 논문 관련 리소스에서 E-Bench 완전 합성 가상 환경을 가져오고, 왕저룽야오, QQ 뮤직, 텐센트 회의라는 세 제품 영역을 포괄하는 데이터베이스 템플릿과 323개의 평가 작업을 로드합니다.
버전 선택: 연구 목표에 따라 기본 버전인 E-Bench 또는 E-Bench-Code를 선택합니다.
모델 연결: 평가 대상 LLM Agent를 평가 프레임워크에 연결하고, 제한된 도메인 도구(예: 노래 검색, 회의 생성, 친구 추가 등)를 통해서만 환경과 간접적으로 상호작용하도록 구성합니다. 하위 데이터베이스에 직접 질의하는 것은 금지됩니다.
작업 구성: 각 작업의 독립 실행 횟수와 새로운 데이터베이스 복제본에서 시작하는 조건을 설정하고, 결과의 재현성을 보장하기 위해 API 호출 비용 추적을 활성화합니다.
평가 실행: 자동화된 평가를 시작하면 Agent는 자연어 지시를 받은 후 여러 단계의 도구 호출을 통해 가상 환경과 상호작용하고 상태를 수정합니다. 시스템은 전체 작업 과정과 토큰 사용량을 자동으로 기록합니다.
결과 분석: 평가가 끝나면 시스템은 결정론적 데이터베이스 상태 diff를 기반으로 Pass@1 및 Pass³ 정확도를 출력하고, 비용·성능 통합 분석 보고서를 생성하여 모델의 가성비 평가를 지원합니다.

실제 규모의 방해 요소가 충분함: 각 데이터베이스가 7.6만 개 이상의 행과 60만 개 이상의 데이터 단위로 채워져 목표 엔터티가 수많은 유사 레코드에 둘러싸입니다. 따라서 모델이 희소한 환경을 근거로 추측해 맞히기 어렵습니다.
환경과 작업의 분리 및 재사용: 하나의 일관된 제품 환경으로 약 수백 개의 작업을 생성할 수 있어 한계 비용이 매우 낮습니다. 환경 계층은 제어 가능하고 작업 계층은 확장 가능합니다.
안정적이고 재현 가능한 평가: 완전 합성 환경은 온라인 서비스의 변화에 영향을 받지 않으며, 결정론적 diff 평가가 의미 기반 평가자의 주관적 편차를 제거합니다.
명확한 난이도 구분: 기본 버전은 다단계 조율과 정보 수집 능력을 평가하고, Code 버전은 계산 집약적 작업을 코드로 오프로딩하는 능력을 추가로 테스트합니다.

arXiv 기술 논문：https://arxiv.org/pdf/2607.23722

AI 에이전트 역량 평가: LLM Agent에 표준화되고 정량화 가능한 다단계 도구 사용 능력 평가를 제공하며, 정보 검색, 상태 변경, 엔터티 간 조율 등 핵심 차원을 포괄합니다.
모델 선정 및 제품화 의사 결정: 비용·성능 파레토 차트를 통해 기업이 정확도와 API 비용 사이에서 균형을 잡고 높은 가성비의 모델을 식별하도록 지원합니다.
에이전트 학습 데이터 합성: 제어 가능하고 확장 가능한 학습 데이터 소스로 활용되어 다단계 도구 호출과 안정성 측면에서 Agent의 역량을 지속적으로 향상합니다.
코드 강화 Agent 연구: E-Bench-Code는 코드 실행이 다양한 유형의 작업(계산 집약형과 추론·의사 결정)에 제공하는 이점의 경계를 연구할 수 있도록 지원합니다.
도메인 간 벤치마크 확장: 방법론을 더 많은 제품 백엔드와 CLI 시나리오로 이전하여 범용 에이전트 평가 표준 수립을 촉진합니다.