E-Commerce Bench Đang hoạt động

E-Commerce Bench là bộ tiêu chuẩn đánh giá vận hành thương mại điện tử dài hạn do Qwen của Alibaba phối hợp với Tập đoàn Taotian mã nguồn mở. E-Commerce Bench cho phép LLM Agent vận hành một cửa hàng trực tuyến trong 365 ngày với số vốn ban đầu 100.000 nhân dân tệ trong thị trường mô phỏng thực tế, bao quát việc lựa chọn sản phẩm, đàm phán với nhà cung cấp, định giá, quản lý hàng tồn kho và dòng tiền. Môi trường được xây dựng trên dữ liệu nền tảng thực tế, gồm 576 nhà cung cấp (trong đó có các bên gian lận), 8 chương trình khuyến mãi và 10 sự kiện thị trường. Lõi xác định bảo đảm khả năng tái lập, đồng thời đánh giá năng lực kinh doanh của mô hình trên 7 khía cạnh, bao gồm khả năng sinh lời, đàm phán, chống gian lận và học dài hạn.

Mô phỏng vận hành dài hạn: Cho phép LLM Agent liên tục vận hành cửa hàng trực tuyến trong 365 ngày với số vốn ban đầu 100.000 nhân dân tệ trong thị trường động, nhằm tối đa hóa tổng tài sản cuối năm.
Vận hành nhiều cửa hàng: Hỗ trợ đồng thời mở tối đa 4 cửa hàng thuộc 12 loại hình khác nhau để bố trí danh mục ngành hàng theo hướng khác biệt.
Đàm phán với nhà cung cấp: Thực hiện nhiều vòng đàm phán giá với 576 nhà cung cấp để đạt chi phí mua vào thấp hơn.
Nhận diện gian lận: Nhận diện và tránh 5 kiểu lừa đảo điển hình từ 152 nhà cung cấp gian lận (phí VIP, hết hàng, giảm chất lượng, tạo cảm giác khẩn cấp giả và bẫy chiết khấu).
Ứng phó thị trường động: Điều chỉnh chiến lược kinh doanh trong 8 chương trình khuyến mãi và 10 sự kiện đột xuất (thiên tai, cú sốc chuỗi cung ứng).
Quản lý hàng tồn kho và kho vận: Quản lý nhập, xuất và tồn của 6.886 SKU, đồng thời chịu phí lưu kho tính theo từng sản phẩm và từng ngày.
Kiểm soát dòng tiền: Xử lý hệ thống thanh toán 3 tài khoản và thời gian chậm nhận tiền 9 ngày, tránh tình trạng profitable-but-bankrupt (có lợi nhuận nhưng phá sản).
Đánh giá toàn diện 7 chiều: Chấm điểm độc lập theo 7 khía cạnh: khả năng sinh lời, đàm phán, chống gian lận, khả năng thanh toán, hiệu suất, thực thi và học dài hạn.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc 4 tầng: Hệ thống được xây dựng từ trên xuống dưới gồm tầng vòng lặp Agent, tầng công cụ, tầng môi trường và tầng dữ liệu, tạo thành vòng kín giữa ra quyết định, thực thi và phản hồi từ môi trường.
Lõi đàm phán xác định: Mọi báo giá, nhượng bộ và quyết định chấp nhận/từ chối của nhà cung cấp đều được tính toán bởi lõi thuật toán cố định; LLM chỉ chịu trách nhiệm chuyển quyết định dạng số thành hội thoại ngôn ngữ tự nhiên. Cách này vừa giữ được trải nghiệm đàm phán nhiều vòng chân thực, vừa loại bỏ hoàn toàn tính ngẫu nhiên của quá trình lấy mẫu, ngăn mô hình sử dụng jailbreak hoặc lừa dối để đạt mức giá thấp hơn giá sàn, đồng thời bảo đảm các Agent khác nhau nhận được kết quả có thể tái lập khi áp dụng cùng một chiến lược.
Động cơ kinh tế động: Nhu cầu người dùng không được lấy mẫu ngẫu nhiên mà được tính toán dựa trên nhu cầu cơ bản của ngành hàng, độ co giãn giá, sự kiện thị trường và uy tín cửa hàng; chỉ tính ngẫu nhiên có thể tái lập do seed của episode kiểm soát.
Thanh toán 3 tài khoản và áp lực dòng tiền: Chi phí phát sinh sẽ được khấu trừ ngay khỏi tài khoản ngân hàng trong ngày, nhưng doanh thu bán hàng phải đi qua quy trình “giao hàng → thời gian bảo đảm 9 ngày của nền tảng → ví nền tảng → rút tiền thủ công” trước khi quay lại ngân hàng. Cơ chế này cố ý tạo ra khoảng thiếu hụt vốn lưu động, buộc Agent chủ động quản lý thanh khoản và tránh hành vi thiển cận chỉ nhìn lợi nhuận mà bỏ qua tiền mặt.
Đánh giá khả năng học dài hạn (AnchorRatio): Đo lường việc Agent có mua cùng một sản phẩm với giá ngày càng rẻ hơn hay không. Giả thuyết không được xây dựng bằng cách xáo trộn ngẫu nhiên lịch sử báo giá của chính Agent; nếu chỉ số thấp hơn đáng kể so với 1.0, điều đó cho thấy mô hình có thể liên tục tối ưu chiến lược mua hàng từ kinh nghiệm đàm phán trước đó.

Lấy mã nguồn: Clone kho mã nguồn mở E-Commerce Bench trên GitHub về máy cục bộ.
Cấu hình môi trường: Cài đặt các dependency của dự án và chuẩn bị môi trường chạy Python.
Kết nối mô hình: Điền API Key và tên mô hình của LLM cần đánh giá vào tệp cấu hình.
Khởi động mô phỏng: Chạy chương trình chính; Agent sẽ tự động bắt đầu vòng vận hành thương mại điện tử kéo dài 365 ngày.
Xem kết quả: Sau khi mô phỏng kết thúc, hệ thống tự động xuất báo cáo đánh giá 7 chiều và đường cong biến động tài sản trong cả năm.

Tiên phong đánh giá vận hành dài hạn: Lần đầu mở rộng đánh giá LLM Agent từ các nhiệm vụ ngắn hạn sang bối cảnh kinh doanh động với 365 ngày vận hành liên tục.
Dựa trên dữ liệu thị trường thực tế: 6.886 sản phẩm, 60 ngành hàng và 576 nhà cung cấp đều được xây dựng từ dữ liệu đã ẩn danh của các nền tảng thương mại điện tử thực tế.
Lõi xác định bảo đảm khả năng tái lập: Báo giá đàm phán và nhu cầu thị trường được tính toán bởi lõi thuật toán cố định; LLM chỉ phụ trách tạo hội thoại, loại bỏ hoàn toàn nhiễu do lấy mẫu ngẫu nhiên.
Hệ thống đánh giá toàn diện 7 chiều: Không chỉ xem xét tài sản cuối năm mà còn đánh giá độc lập năng lực đàm phán, chống gian lận, quản lý dòng tiền, hiệu suất, thực thi và học dài hạn.
Mô phỏng áp lực kinh doanh thực tế: Cơ chế thanh toán chậm qua 3 tài khoản và phí lưu kho tính theo ngày buộc Agent phải quản lý vốn lưu động thay vì chỉ theo đuổi lợi nhuận trên sổ sách.
Định lượng năng lực chống gian lận: Tích hợp 152 nhà cung cấp gian lận và 5 kiểu lừa đảo điển hình để đo lường chính xác khả năng nhận diện rủi ro và bảo vệ nguồn vốn của mô hình.

Trang web dự án: https://ecbench.github.io/
Kho GitHub: https://github.com/QwenLM/E-CommerceBench
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2608.30730

Đánh giá năng lực kinh doanh của mô hình lớn: Cung cấp phương thức so sánh ngang tiêu chuẩn hóa về năng lực vận hành dài hạn cho các mô hình tiên tiến như GPT, Claude và Qwen.
Lặp chiến lược cho Agent thương mại điện tử: Đóng vai trò là môi trường thử nghiệm cho học tăng cường và kiến trúc Agent, giúp nhanh chóng kiểm chứng chiến lược định giá, mua hàng và tồn kho.
Nghiên cứu thuật toán kiểm soát rủi ro chuỗi cung ứng: Kiểm thử và tối ưu mô hình sàng lọc nhà cung cấp và nhận diện rủi ro trong môi trường mô phỏng có nhà cung cấp gian lận.
Xác minh thuật toán định giá động: Sử dụng dữ liệu độ co giãn giá thực tế để kiểm tra hiệu quả của các chiến lược định giá khác nhau trong các chương trình khuyến mãi và biến động theo mùa.
Mô phỏng và đào tạo quyết định kinh doanh: Đóng vai trò là trình mô phỏng vận hành cho trường kinh doanh hoặc doanh nghiệp, đào tạo năng lực ra quyết định của nhà quản lý dưới áp lực dòng tiền và sự bất định của thị trường.