E-Bench – Tencent Hunyuanなどが提供するエージェント評価ベンチマーク 運営中

E-Benchは、Tencent Hunyuanチームが清華大学AIR、東南大学と共同で提供する、複数ステップのツール利用評価ベンチマークです。『王者栄耀』、『QQ音楽』、『Tencent Meeting』という3つの実在プロダクトを原型に完全合成の仮想環境を構築し、323件の状態変更タスク、41のデータベーステーブル、7.6万件を超えるデータを収録しています。情報ギャップとツールギャップによる二重の非対称設計により、エージェントは隠された情報を自ら収集し、複数ステップのツール呼び出しを組み立てる必要があります。最終的に決定論的なデータベース状態diffで評価することで、実際のプロダクトシナリオにおける現在のAIエージェントの能力限界を明らかにします。

完全合成プロダクト環境の構築：グラフ誘導型データベース充填技術に基づき、孤立レコードがなくテーブル間で整合した3つのプロダクト仮想世界を生成します。
二重ギャップタスク生成：出題モデルにはデータベース全体へのアクセス権を与え、評価対象モデルは制限された業務ツールを介してのみ操作できるようにし、情報とツールの二重の非対称性を生み出します。
決定論的状態評価：データベース操作前後の状態diffを唯一の判定基準とし、完全一致した場合のみ合格とすることで、部分点や評価者によるばらつきを排除します。
コスト・性能の統合分析：各タスクのAPIコストを同時に記録し、正解率とコストのパレートフロンティアを描いて、モデルの費用対効果を評価します。
コード実行の拡張：E-Bench-Codeではexec_codeツールを利用でき、オーケストレーション機構と情報取得という2種類の難しさを切り分けられます。

グラフ誘導型データベース充填：リレーショナルスキーマからテーブル間の依存グラフを構築し、トポロジカル順序に従ってルートテーブルと下流テーブルを充填します。強力なLLMを制約付き合成器として用い、挿入ツールだけでデータを書き込みます。下流テーブルでは、必ず現在のデータベースから候補エンティティを検索し、最後に決定論的スクリプトで時間順序や集計値などの意味上の誤りを検証・修正して、完全で自己整合的な環境を保証します。
生成器とソルバーの非対称性：出題Agentにはquery_sqlとexec_codeの特権を与え、データベース全体の閲覧と複雑な計算を可能にします。一方、評価対象Agentは業務レベルのツールしか呼び出せないため、情報ギャップ（グローバル状態の非表示）とツールギャップ（内部計算ツールの除去）が形成され、モデルは複数ステップの並列ツール呼び出しによって環境を能動的に探索する必要があります。
意図の書き換えとルール置換：データベースから派生した具体的な値を、それを生み出すルールに置き換えます。たとえば曲IDを直接示すのではなく、「お気に入りにある配信終了済みの曲をすべて追加して」と表現します。これにより、環境との対話なしにタスクを独立して完了することを防ぎます。
クロスバリデーションによるタスク生成：各タスクは、データ確認→目標確定→状態変更→意図要約というプロダクト化されたサイクルで生成されます。3つの異なる強力なAgentモデルが相互検証し、少なくとも2つが同じ結果を再現したタスクのみを採用することで、タスクの解決可能性とアノテーションの正確性を保証します。

環境の準備：論文の付属リソースからE-Benchの完全合成仮想環境を取得し、『王者栄耀』、『QQ音楽』、『Tencent Meeting』という3つのプロダクト領域をカバーするデータベーステンプレートと323件の評価タスクを読み込みます。
バージョンの選択：研究目的に応じて、ベース版のE-BenchまたはE-Bench-Codeを選択します。
モデルの接続：評価対象のLLM Agentを評価フレームワークに接続し、曲の検索、会議の作成、友だちの追加など、制限されたドメインツールのみを介して環境と間接的にやり取りできるよう設定します。基盤データベースへの直接クエリは禁止します。
タスクの設定：各タスクの独立実行回数と、まったく新しいデータベースコピーから開始する条件を設定し、結果の再現性を確保するためAPI呼び出しコストの追跡を有効にします。
評価の実行：自動評価を開始すると、Agentは自然言語の指示を受け、複数ステップのツール呼び出しによって仮想環境と対話し、状態を変更します。システムは操作履歴全体とToken消費量を自動的に記録します。
結果の分析：評価終了後、システムは決定論的なデータベース状態diffに基づいてPass@1とPass³の正解率を出力し、コスト・性能の統合分析レポートを生成して、モデルの費用対効果評価を支援します。

実規模の十分なノイズ：各データベースには7.6万行以上、60万個以上のデータ単位が投入され、対象エンティティは多数の類似レコードに囲まれています。モデルは環境が疎であることを利用して当てることができません。
環境とタスクの分離・再利用：自己整合的な1つのプロダクト環境から約100件のタスクを生成でき、限界コストは非常に低く抑えられます。環境層は制御可能で、タスク層は拡張可能です。
安定した再現可能な評価：完全合成環境はオンラインサービスの進化に左右されず、決定論的diff評価によって意味評価者の主観的な偏りを排除します。
明確な難易度階層：ベース版では複数ステップのオーケストレーションと情報収集を検証し、Code版では計算集約型タスクにおけるコードオフロード能力も追加で検証します。

arXiv技術論文：https://arxiv.org/pdf/2607.23722

AIエージェント能力の評価：LLM Agentに対して、複数ステップのツール利用能力を標準化・定量化して評価する手段を提供し、情報検索、状態変更、エンティティ横断のオーケストレーションなどの中核的な側面をカバーします。
モデル選定と製品化の意思決定：コスト・性能のパレート図により、企業が正解率とAPIコストのバランスを取り、費用対効果の高いモデルを特定できるよう支援します。
エージェント学習データの合成：制御可能で拡張性の高い学習データ源として、多段階のツール呼び出しと信頼性におけるAgentの能力を継続的に向上させます。
コード強化Agentの研究：E-Bench-Codeは、計算集約型タスクと推論・意思決定タスクなど、異なる種類のタスクに対するコード実行の効果の境界を研究できます。
分野横断的なベンチマーク拡張：この方法論は、より多くのプロダクトバックエンドやCLIシナリオに移行でき、汎用エージェント評価標準の確立を促進します。