E-Commerce Bench 運営中

E-Commerce Benchは、アリババの通義千問（Qwen）と淘天グループが共同でオープンソース化した、長期的なEC運営能力の評価ベンチマークです。E-Commerce Benchでは、LLM Agentが10万元の元手で現実の市場を再現した環境において365日間オンラインショップを運営し、商品選定、サプライヤーとの交渉、価格設定、在庫・キャッシュフロー管理に取り組みます。環境は実際のプラットフォームデータを基に構築され、576社のサプライヤー（詐欺業者を含む）、8回のプロモーション、10件の市場イベントを備えています。決定論的カーネルによって再現性を確保し、収益性、交渉力、詐欺対策、長期学習など7つの側面からモデルのビジネス運営能力を評価します。

長期運営シミュレーション：LLM Agentが10万元の元手で動的な市場において365日間ショップを継続運営し、年末の総資産を最大化します。
複数店舗運営：最大4店舗、12種類の異なるタイプの店舗を同時に開設し、商品カテゴリーを差別化して展開できます。
サプライヤー交渉：576社のサプライヤーと複数回の価格交渉を行い、仕入れコストの削減を目指します。
詐欺対策：152社の詐欺サプライヤーによる5種類の典型的な詐欺（VIP料金、欠品、品質低下、偽の緊急性、割引の罠）を識別して回避します。
動的な市場への対応：8回のプロモーションと10件の突発的なイベント（災害、サプライチェーンの混乱）に応じて運営戦略を調整します。
在庫・倉庫管理：6,886個のSKUの入出庫・在庫を管理し、商品1個・1日単位で計算される保管料を負担します。
キャッシュフロー管理：3口座の決済体系と9日間の入金遅延に対応し、profitable-but-bankrupt（利益は出ているが破産する状態）を回避します。
7次元の総合評価：収益性、交渉力、詐欺対策、支払能力、効率性、実行力、長期学習の7つの独立した側面でスコアリングします。

WeChatでフォローし「开源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます
4層アーキテクチャ：Agentループ層、ツール層、環境層、データ層の4層を上から下へ構成し、意思決定、実行、環境からのフィードバックによる閉ループを実現します。
決定論的な交渉カーネル：サプライヤーのすべての提示価格、譲歩、承諾・拒否の判断は固定アルゴリズムのカーネルで計算し、LLMは数値による判断を自然言語の対話に変換する役割のみを担います。これにより、複数回の値引き交渉というリアルな体験を保ちながら、サンプリングによるランダム性を完全に排除します。モデルが脱獄や欺瞞によって原価ラインを下回る価格を得ることを防ぎ、同じ戦略を用いる異なるAgentが再現可能な結果を得られるようにします。
動的経済エンジン：ユーザー需要はランダムサンプリングせず、カテゴリーごとの基礎需要、価格弾力性、市場イベント、店舗の評判などの要因から算出します。再現可能なランダム性はepisodeシードのみで制御されます。
3口座決済とキャッシュフローのプレッシャー：コストは発生当日に銀行口座から差し引かれますが、販売収益は「発送 → 9日間のプラットフォーム保証期間 → プラットフォームウォレット → 手動出金」を経て初めて銀行口座に戻ります。運転資金の不足を意図的に生み出すことで、Agentに流動性の積極的な管理を促し、利益だけを見て現金を軽視する短期的な行動を防ぎます。
長期学習評価（AnchorRatio）：同じ商品を繰り返し仕入れる際に、Agentがより安く購入できるようになっているかを測定します。そのAgent自身の過去の提示価格をランダムに並べ替えたものを帰無仮説とし、値が1.0を有意に下回る場合、過去の交渉経験から仕入れ戦略を継続的に改善できていることを示します。

コードの取得：GitHubからE-Commerce Benchのオープンソースリポジトリをローカルにクローンします。
環境設定：プロジェクトの依存関係をインストールし、Python実行環境を準備します。
モデルの接続：設定ファイルに評価対象LLMのAPI Keyとモデル名を入力します。
シミュレーションの開始：メインプログラムを実行すると、Agentが365日間のEC運営ラウンドを自動的に開始します。
結果の確認：シミュレーション終了後、7次元の評価レポートと年間資産推移グラフが自動的に出力されます。

長期運営評価を初めて実現：LLM Agentの評価を短期タスクから、365日間継続する動的なビジネス環境へと初めて拡張しました。
実際の市場データを活用：6,886の商品、60のカテゴリー、576社のサプライヤーは、いずれも実際のECプラットフォームの匿名化データを基に構築されています。
決定論的カーネルによる再現性：交渉価格と市場需要を固定アルゴリズムのカーネルで計算し、LLMは対話の生成のみを担当するため、ランダムサンプリングによるノイズを完全に排除します。
7次元の立体的な評価体系：年末の資産だけでなく、交渉力、詐欺対策、キャッシュフロー、効率性、実行力、長期学習能力も個別に評価します。
現実的なビジネスプレッシャーを再現：3口座による決済遅延と日単位の保管料の仕組みにより、Agentは帳簿上の利益だけでなく、運転資金の管理を求められます。
詐欺対策能力を定量化：152社の詐欺サプライヤーと5種類の典型的な詐欺を組み込み、モデルのリスク識別力と資金保護能力を正確に測定します。

プロジェクト公式サイト：https://ecbench.github.io/
GitHubリポジトリ：https://github.com/QwenLM/E-CommerceBench
arXiv技術論文：https://arxiv.org/pdf/2608.30730

大規模モデルのビジネス能力評価：GPT、Claude、Qwenなどの先進モデルを対象に、長期的な運営能力を標準化して横断比較できます。
EC Agent戦略の改善：強化学習やAgentアーキテクチャのトレーニング用サンドボックスとして、価格設定、仕入れ、在庫戦略を迅速に検証できます。
サプライチェーンのリスク管理アルゴリズム研究：詐欺サプライヤーを含むシミュレーション環境で、サプライヤー選定やリスク識別モデルをテスト・改善できます。
動的価格設定アルゴリズムの検証：実際の価格弾力性データを用いて、プロモーションや季節変動におけるさまざまな価格設定戦略の収益性を検証できます。
ビジネス意思決定シミュレーション研修：ビジネススクールや企業内の経営シミュレーターとして、キャッシュフローのプレッシャーや市場の不確実性の中で意思決定する能力を養えます。