WorkForge Faoliyat yuritmoqda

WorkForge — Tencent Hunyuan va Fudan universiteti tomonidan birgalikda ishlab chiqilgan agentlarni o‘qitish muhitlarini yaratish freymvorki. WorkForge ekspert ish jarayoni chizmasidan kelib chiqib, real dunyo resurslarini avtomatik qidiradi va ish maydonini yaratadi, ish maydoni faktlari asosida vazifalar hamda ikki tomonlama tekshiruv mezonlarini hosil qiladi, shu orqali agentlarga bajarish natijalari traektoriyasi ma’lumotlarini yaratish imkonini beradi. WorkForge 40 ta professional sohani qamrab oluvchi, tekshirilishi mumkin bo‘lgan 16.7K ta muhitni yaratdi; u 35B modelining GDPval ballini 28 ballga oshirib, ilg‘or modellar darajasiga yaqinlashtirishi mumkin.

Ssenariy chizmasini yaratish: ekspert tajribasini qayta foydalanish mumkin bo‘lgan ish jarayoni shablonlariga aylantirish, topshiriladigan natijalar, zarur resurslar va muhim qaror nuqtalarini belgilash.
Haqiqiy ish maydonini sintez qilish: yig‘uvchi agent internetdan haqiqiy kod omborlari, ma’lumotlar to‘plamlari va veb-materiallarni qidirib yuklaydi hamda ularning asl katalog tuzilmasi asosida ish maydonini yaratadi.
Muhit profili va fakt tayanchlarini ajratib olish: har bir faylning roli va bog‘liqliklarini avtomatik aniqlash, bevosita tekshirish mumkin bo‘lgan “fakt dalillari”ni qayd etish.
Vazifa yaratish: chizma va profil asosida ish maydonining haqiqiy mazmuniga tayangan vazifa ko‘rsatmalari hamda yashirin namunaviy yechimlarni ishlab chiqish.
Ikki tomonlama tekshiruv mexanizmi: dasturiy tekshiruv qiymatlar va fayl yaratilishini nazorat qiladi, LLM hakami esa baholash mezonlari asosida semantik sifatni baholaydi.
Traektoriyalarni yig‘ish va baholash: agent faqat ish maydoni va vazifa tavsifini ko‘rgan holda mustaqil ishlaydi; butun jarayon ball bilan birga o‘quv ma’lumotlari sifatida saqlanadi.
Muhitlarni keng miqyosda yaratish: bir marta bosish orqali 40 ta professional soha va 60 turdagi faylni qamrab oluvchi 16.7K ta tekshiriladigan ish muhitini yaratish.
Agentlarni keyingi bosqichda o‘qitish: yaratilgan uzoq davom etuvchi traektoriyalar yordamida modellarni nozik sozlash va ularning ish vazifalarini bajarish qobiliyatini sezilarli oshirish.

Fakt tayanchlariga asoslangan vazifa va tekshiruvning uyg‘un dizayni: WorkForge’ning asosiy tamoyili shundan iboratki, vazifani qo‘yish va natijani tekshirish imkoniyati ish maydonida kuzatiladigan faktlarga bog‘liq. Avval ish maydonining to‘liq profilini (Profiling) yaratadi, fayllar rollari, fayllararo bog‘liqliklar va bevosita tekshirilishi mumkin bo‘lgan aniq faktlarni ajratib oladi. Vazifa ko‘rsatmalari, namunaviy yechimlar, dasturiy tekshiruv bandlari va semantik baholash mezonlari shu fakt tayanchlaridan hosil qilinadi; namunaviy yechimlardagi muhim faktlar esa ish maydonida qayta tekshiriladi.
Haqiqiy resurslar asosida muhit murakkabligini yaratish: LLM tomonidan sintez qilingan ish maydonlaridan farqli o‘laroq, WorkForge yig‘uvchi agent orqali qidirish — o‘qish — yuklab olish — oldindan ko‘rish siklini takroran bajaradi, haqiqiy omborlar va ma’lumotlar to‘plamlaridan resurslarni yig‘adi hamda ularning asl katalog tuzilmasini saqlab qoladi. Nazorat tajribalari haqiqiy ish muhitlaridagi fayllar soni sintez qilingan muhitlardagidan 5.4 baravar, fayl turlari esa 2.4 baravar ko‘p ekanini ko‘rsatdi; dalillar bir nechta faylga jamlanmay, butun katalog daraxti bo‘ylab tarqaladi. Bu agentlarni avval izlashga, so‘ng qaror qilishga majbur qilib, haqiqiy operatsion qiyinchilik va uzoq davom etuvchi o‘zaro ta’sir ehtiyojini yuzaga keltiradi.
Dasturiy va semantik ikki yo‘nalishli tekshiruv: tekshiruv moduli bir-birini to‘ldiruvchi ikki qismdan iborat. Dasturiy tekshiruvchi qiymatlarning to‘g‘riligi, maqsadli fayllarning yaratilgani va ish maydoni holatining kutilganiga mosligini kabi deterministik talablarni indikator funksiyasi orqali tekshiradi va baholaydi. Semantik tekshiruvchi esa vazifa ko‘rsatmalari asosida LLM hakamini sozlaydi; u ochiq turdagi topshiriladigan natijalarni baholash mezonlari bo‘yicha bandma-band baholab, natijani normallashtiradi. Ikki yo‘nalishdagi ballar alohida saqlanadi. Tajribalar shuni ko‘rsatdiki, ularni birlashtirgan gibrid saralash (ALE 22.11) faqat bitta signalga tayanishdan (15.62 / 14.89) ancha ustun, chunki ikki turdagi tekshiruv topshiriq sifatining turli jihatlarini qamrab oladi.

WorkForge hozircha tadqiqot freymvorki hisoblanadi; maqolada ochiq kod yoki ma’lumotlar to‘plamlaridan foydalanish kanallari haqida ma’lumot berilmagan.

Haqiqiylik yuqoriroq: ish maydonlari bevosita real dunyo resurslaridan yaratiladi; fayllar soni, fayl turlari va hajmi LLM tomonidan sintez qilingan muhitlardagidan mos ravishda 5.4, 2.4 va 13 baravar ko‘p, dalillar esa bir joyda oshkor bo‘lmay, katalog daraxti bo‘ylab tarqaladi.
Tekshiruvning kuzatiluvchanligi: vazifalar, namunaviy yechimlar va baholash mezonlari ish maydonidagi “fakt tayanchlari”dan hosil qilinadi, muhim faktlar ish maydonida qayta tekshiriladi va xayoliy baholash talablarining oldi olinadi.
Ikki tomonlama tekshiruvning to‘ldiruvchanligi: dasturiy tekshiruvlar (qiymatlar/fayllar) va LLM semantik baholashi birlashtiriladi; gibrid saralash natijasi har qanday bitta signalni alohida qo‘llashdan ancha yuqori.
Uzoq davom etuvchi o‘zaro ta’sir asosida o‘qitish: o‘rtacha 31.8 qadam va 7.6 ming tokenlik real izlanish traektoriyalari modelga izlash, dalil to‘plash, xatolarni tuzatish va topshirishdan iborat to‘liq ish jarayonini o‘rgatadi.
Keng miqyosda ishlash qobiliyati: bitta quvur orqali 40 ta sohani qamrab oluvchi 16.7K ta muhit yaratiladi, bu muhitlarni qo‘lda yaratishga nisbatan muhandislik xarajatlarini sezilarli kamaytiradi.
Unumdorlikning sezilarli oshishi: A3B modelining GDPval ko‘rsatkichi 28.1 ballga oshib, barcha <100B maxsus agent modellaridan o‘zib ketadi; 27B modeli parametrlar soni 15 baravar ko‘p bo‘lgan 397B modelini ortda qoldiradi.

arXiv texnik maqolasi：https://arxiv.org/pdf/2610.04906

Agentlarni o‘qitish ma’lumotlarini ishlab chiqarish: korxonalar va tadqiqot institutlari uchun yuqori sifatli, uzoq davom etuvchi traektoriya ma’lumotlarini keng miqyosda yaratish; ulardan o‘z ish agentlarini keyingi bosqichda o‘qitishda foydalanib, muhitlarni qo‘lda yaratish xarajatlari cheklovidan chiqish.
Kasbiy raqamli xodimlarni tayyorlash: ofis ishlari, ma’lumotlar tahlili, moliya, ta’lim kabi 40 ta professional sohada hisobot, jadval, PPT kabi haqiqiy topshiriladigan natijalarni tayyorlay oladigan “raqamli xodimlar”ni o‘qitish.
Agentlar qobiliyatini baholash: fakt tayanchlariga asoslangan ikki yo‘nalishli tekshiruv mexanizmi baholash paradigmasi sifatida qo‘llanib, agentlarning tartibsiz fayl muhitida izlash, dalil to‘plash va topshirish qobiliyatini tekshirishi mumkin.
Sohaga xos ish jarayonlarini raqamlashtirish: korxonalar ichki ekspert tajribasini ssenariy chizmasi ko‘rinishida yozgach, o‘xshash vazifalarning turli misollarini tezda katta miqyosda yaratib, ulardan o‘qitish yoki imtihon olishda foydalanishi mumkin.
Muayyan soha agentlarini ishlab chiqish asosi: moliyaviy kvant tahlili, kodni ko‘rib chiqish, muvofiqlikni tekshirish kabi bir nechta manbadagi fayllarni o‘zaro solishtirishni talab qiladigan professional sohalarda muhit infratuzilmasi sifatida qo‘llanib, yuqori darajadagi Agent mahsulotlarining qobiliyatini takomillashtirishni qo‘llab-quvvatlaydi.