E-Commerce Bench Faoliyat yuritmoqda

E-Commerce Bench — Alibaba’ning Qwen jamoasi va Taotian Group hamkorligida ochiq manbaga chiqarilgan uzoq muddatli elektron tijorat boshqaruvini baholash mezoni. E-Commerce Bench LLM Agent’ga 100 000 yuan boshlang‘ich kapital bilan haqiqiy bozorni simulyatsiya qiluvchi muhitda 365 kun davomida onlayn do‘kon yuritish, jumladan mahsulot tanlash, yetkazib beruvchilar bilan muzokara qilish, narx belgilash, zaxira va pul oqimini boshqarish imkonini beradi. Muhit haqiqiy platforma ma’lumotlari asosida yaratilgan bo‘lib, unda 576 ta yetkazib beruvchi, jumladan firibgarlar, 8 ta aksiya va 10 ta bozor hodisasi mavjud. Deterministik yadro takrorlanuvchanlikni ta’minlaydi, modelning biznes boshqaruvi qobiliyatini daromadlilik, muzokara, firibgarlikka qarshi himoya va uzoq muddatli o‘rganish kabi yetti yo‘nalishda baholaydi.

Uzoq muddatli boshqaruv simulyatsiyasi: LLM Agent 100 000 yuan boshlang‘ich kapital bilan dinamik bozorda 365 kun davomida onlayn do‘konni uzluksiz boshqaradi va yil oxiridagi jami aktivlarni maksimal darajaga yetkazadi.
Bir nechta do‘konni boshqarish: bir vaqtning o‘zida ko‘pi bilan 4 ta, 12 xil turdagi do‘kon ochish va mahsulot toifalarini differensial joylashtirishni qo‘llab-quvvatlaydi.
Yetkazib beruvchilar bilan muzokara: 576 ta yetkazib beruvchi bilan bir necha bosqichli narx muzokaralarini olib borib, xarid xarajatlarini kamaytirishga intiladi.
Firibgarlikni aniqlash: 152 ta firibgar yetkazib beruvchining 5 xil odatiy firibgarlik usulini aniqlaydi va chetlab o‘tadi (VIP to‘lovi, mahsulot yo‘qligi, sifatni pasaytirish, soxta shoshilinchlik, chegirma tuzog‘i).
Dinamik bozorga moslashish: 8 ta aksiya va 10 ta kutilmagan hodisa, jumladan tabiiy ofatlar va ta’minot zanjiri zarbalari sharoitida boshqaruv strategiyasini o‘zgartiradi.
Zaxira va ombor boshqaruvi: 6 886 ta SKU bo‘yicha kirim-chiqim va qoldiqni boshqaradi, dona va kun asosida hisoblanadigan ombor xarajatlarini qoplaydi.
Pul oqimini boshqarish: uch hisobli hisob-kitob tizimi va to‘lovlarning 9 kun kechikib tushishini boshqaradi, profitable-but-bankrupt (daromadli bo‘lsa-da, bankrot) holatining oldini oladi.
Yetti yo‘nalishli kompleks baholash: daromadlilik, muzokara, firibgarlikka qarshi himoya, to‘lov qobiliyati, samaradorlik, ijro va uzoq muddatli o‘rganishning yetti mustaqil yo‘nalishi bo‘yicha ball beradi.

WeChat’da kuzatib boring va “开源” deb javob yuborib, AI ochiq manba loyihalari guruhiga qo‘shiling
To‘rt qatlamli arxitektura: tizim yuqoridan pastga Agent sikli qatlami, vositalar qatlami, muhit qatlami va ma’lumotlar qatlamidan tuzilgan bo‘lib, qaror qabul qilish, ijro va muhit fikr-mulohazasining yopiq siklini amalga oshiradi.
Deterministik muzokara yadrosi: yetkazib beruvchilarning barcha takliflari, yon berishlari hamda qabul qilish yoki rad etish qarorlari qat’iy algoritmik yadro orqali hisoblanadi; LLM faqat raqamli qarorlarni tabiiy tildagi dialogga aylantiradi. Bu ko‘p bosqichli savdolashuvning real tajribasini saqlab qoladi, namuna olish tasodifiyligini butunlay bartaraf etadi, modelning jailbreak yoki aldov orqali tannarxdan past narx olishini oldini oladi hamda bir xil strategiya sharoitida turli Agent’lar uchun takrorlanuvchi natijalarni ta’minlaydi.
Dinamik iqtisodiy dvigatel: foydalanuvchi talabi tasodifiy tanlanmaydi, balki toifaning bazaviy talabi, narx elastikligi, bozor hodisalari va do‘kon obro‘si kabi omillar asosida hisoblanadi; takrorlanuvchi tasodifiylikni faqat episode urug‘i boshqaradi.
Uch hisobli hisob-kitob va pul oqimi bosimi: xarajat yuzaga kelgan kuniyoq bank hisobidan yechiladi, biroq savdo daromadi “jo‘natish → platformaning 9 kunlik kafolat muddati → platforma hamyoni → qo‘lda yechib olish” bosqichlaridan keyingina bankka qaytadi. Bu aylanma mablag‘ tanqisligini ataylab yuzaga keltirib, Agent’ni likvidlikni faol boshqarishga majbur qiladi va faqat foydaga qarab, naqd pulni e’tibordan chetda qoldiradigan qisqa muddatli xatti-harakatlarning oldini oladi.
Uzoq muddatli o‘rganishni baholash (AnchorRatio): Agent bir xil mahsulotni qayta-qayta xarid qilganda narxning pasayib borishini o‘lchaydi. Nolinchi gipoteza sifatida ushbu Agent’ning tarixiy takliflari tasodifiy qayta tartiblanadi; qiymat 1.0 dan sezilarli past bo‘lsa, model avvalgi muzokara tajribasidan xarid strategiyasini doimiy takomillashtira olayotganini bildiradi.

Kodni olish: E-Commerce Bench ochiq manbali repozitoriysini GitHub’dan mahalliy muhitga klonlang.
Muhitni sozlash: loyiha bog‘liqliklarini o‘rnating va Python ish muhitini tayyorlang.
Modelni ulash: konfiguratsiya fayliga baholanadigan LLM’ning API kaliti va model nomini kiriting.
Simulyatsiyani boshlash: asosiy dasturni ishga tushiring, Agent avtomatik ravishda 365 kunlik elektron tijorat boshqaruvi raundini boshlaydi.
Natijalarni ko‘rish: simulyatsiya tugagach, tizim yetti yo‘nalishli baholash hisobotini va yil davomida aktivlar o‘zgarishi grafigini avtomatik chiqaradi.

Uzoq muddatli boshqaruvni baholashda ilk yondashuv: LLM Agent’larni baholashni qisqa muddatli vazifalardan 365 kunlik uzluksiz boshqaruvga ega dinamik biznes muhitiga birinchi bo‘lib kengaytiradi.
Haqiqiy bozor ma’lumotlari asosida: 6 886 ta mahsulot, 60 ta toifa va 576 ta yetkazib beruvchi haqiqiy elektron tijorat platformalarining anonimlashtirilgan ma’lumotlari asosida yaratilgan.
Deterministik yadro takrorlanuvchanlikni ta’minlaydi: muzokara takliflari va bozor talabi qat’iy algoritmik yadro orqali hisoblanadi, LLM esa faqat dialogni shakllantiradi; tasodifiy tanlash shovqini butunlay bartaraf etiladi.
Yetti yo‘nalishli kompleks baholash tizimi: yil oxiridagi aktivlargina emas, balki muzokara, firibgarlikka qarshi himoya, pul oqimi, samaradorlik, ijro va uzoq muddatli o‘rganish qobiliyati ham mustaqil baholanadi.
Haqiqiy biznes bosimini simulyatsiya qilish: kechiktirilgan hisob-kitobga ega uch hisobli tizim va kunlik ombor to‘lovi Agent’ni faqat balansdagi foydani ko‘zlashga emas, aylanma mablag‘ni boshqarishga majbur qiladi.
Firibgarlikka qarshi qobiliyatni miqdoriy baholash: 152 ta firibgar yetkazib beruvchi va 5 xil odatiy firibgarlik usuli ichiga o‘rnatilgan bo‘lib, modelning xavfni aniqlash va mablag‘larni himoya qilish qobiliyatini aniq o‘lchaydi.

Loyiha rasmiy sayti: https://ecbench.github.io/
GitHub repozitoriysi: https://github.com/QwenLM/E-CommerceBench
arXiv texnik maqolasi: https://arxiv.org/pdf/2608.30730

Katta modellarning biznes qobiliyatini baholash: GPT, Claude, Qwen kabi ilg‘or modellarning uzoq muddatli boshqaruv qobiliyatini standartlashtirilgan tarzda taqqoslash imkonini beradi.
Elektron tijorat Agent strategiyalarini takomillashtirish: mustahkamlovchi o‘rganish va Agent arxitekturalari uchun trening muhiti sifatida narxlash, xarid va zaxira strategiyalarini tezda tekshirishga yordam beradi.
Ta’minot zanjiridagi xavflarni boshqarish algoritmlarini tadqiq etish: firibgar yetkazib beruvchilar mavjud simulyatsiya muhitida yetkazib beruvchilarni saralash va xavfni aniqlash modellarini sinash hamda takomillashtirish.
Dinamik narxlash algoritmlarini tekshirish: haqiqiy narx elastikligi ma’lumotlaridan foydalanib, turli narxlash strategiyalarining aksiyalar va mavsumiy o‘zgarishlar sharoitidagi daromadliligini tekshirish.
Biznes qarorlarini simulyatsiya qilish bo‘yicha trening: biznes maktablari yoki korxona ichki ta’limida boshqaruvchilarning pul oqimi bosimi va bozor noaniqligi sharoitida qaror qabul qilish qobiliyatini rivojlantiruvchi boshqaruv simulyatori sifatida foydalanish.