QwenGyre Faoliyat yuritmoqda

QwenGyre — Alibaba Qwen tomonidan ishlab chiqilgan, bir martalik taxminan 700 ming token va bir necha soat davom etadigan vazifalar uchun mo‘ljallangan uzoq davomli agentli onlayn mustahkamlovchi o‘qitish freymvorki. QwenGyre elastik rejalashtirish orqali vazifa to‘xtatilmagan paytda bo‘sh GPU’larni sampling va o‘qitish o‘rtasida almashtiradi, trayektoriya bilan ishlash orqali haqiqiy kontekstni saqlaydi, natijalarning bir qismini baholaydi va xarajatlarni nazorat qilish uchun umumiy prefikslarni deduplikatsiya qiladi. Qwen3.8-2.4T’da 48 qadamda NL2RepoBench o‘tish ko‘rsatkichi 52.48% dan 58.54% gacha oshdi, Async’ga nisbatan uchdan-uchgacha tezlik 1.78× ga yetdi.

Uzoq davomli agentli onlayn mustahkamlovchi o‘qitish: bir martalik bajarilishi bir necha soat davom etadigan va jami taxminan million tokenni tashkil qiladigan vazifalarda bevosita RL o‘qitishini amalga oshiradi.
Elastik GPU rejalashtirish: vazifani to‘xtatmagan holda bo‘sh GPU’larni sampling va o‘qitish o‘rtasida dinamik almashtiradi.
So‘rovlarni qayta yo‘naltirish va KV cache migratsiyasi: GPU roli almashtirilganda agent ishlashda davom etadi, ish maydoni va vositalar holati saqlanadi, RDMA orqali KV cache ko‘chirilishi takroriy hisoblashni kamaytiradi.
Oqimli o‘qitish va yangi tugunlarning jarayon o‘rtasida qo‘shilishi: asosiy cell vakolatli parametrlarni saqlaydi, sun’iy yo‘ldosh cell’lari istalgan vaqtda snapshot’ni olib, davom etayotgan batch’ga qo‘shiladi va mikro-batch’larni jarayoniga qarab oladi.
Trayektoriya daraxti va haqiqiy kontekstni saqlash: har bir chaqiruvning aniq kirish-chiqishini Token-in Token-out orqali qayd etadi, umumiy prefikslar asosida trayektoriya daraxtini tuzadi va chiqish doimo generatsiya paytidagi kontekstga mos kelishini ta’minlaydi.
Qisman baholash (Partial Scoring): vaqt tugaganda yakunlanmagan, ammo tekshiriladigan natija bergan vazifalar ham vazifa qoidalariga ko‘ra baholanadi va o‘qitishda ishlatiladi.
Trayektoriya budjeti va yo‘qotishlarni muvozanatlash: har bir bajarilish uchun ko‘pi bilan Jmax ta trayektoriya saqlanadi, umumiy prefiks faqat bir marta yo‘qotishga kiritiladi va ko‘p tarmoqli vazifalarning vazni haddan tashqari oshib ketishining oldi olinadi.

Elastik rejalashtiruvchi (Elastic Scheduler): GPU’larni bir nechta bir xil hisoblash birliklariga ajratadi. Har bir cell SGLang orqali sampling xizmatini ko‘rsatishi yoki Megatron yordamida to‘liq o‘qitish nusxasini ishga tushirishi mumkin. Rejalashtiruvchi “sath”ni, ya’ni yakunlanmagan vazifalar sonini kuzatadi. Qolgan sampling sig‘imi ishlayotgan vazifalarni qo‘llab-quvvatlash uchun yetarli va o‘qitish ma’lumotlari ta’minoti kifoya bo‘lsa, cell’larni navbat bilan o‘qitishga kiritadi. Almashtirish vaqtida agent model so‘rovlarini yangi inferens dvigateliga yo‘naltiradi va yakunlanmagan so‘rovlarni qayta urinadi; backend jarayonlari va aloqa guruhlarini qayta yaratish talab etilmaydi. Asosiy cell vakolatli og‘irliklar va optimizator holatini saqlaydi, sun’iy yo‘ldosh cell’lari RDMA orqali parametr snapshot’ini olib, joriy batch’ning gradientlarini yig‘ishga qo‘shiladi. Yakunda asosiy cell yangilanishni yagona tartibda jamlaydi. Shu tariqa o‘qitish ma’lumotlar tayyor bo‘lishi bilan bosqichma-bosqich kengayadi, sampling va o‘qitish esa yuqori darajada bir-biriga ustma-ust tushadi.
Trayektoriyalarni qayta ishlash (Trajectory Processor): QwenGyre agent orqali har bir model chaqiruvining aniq kirish/chiqish token ID’lari va xulq-atvor siyosatining log ehtimollarini qayd etadi, umumiy prefikslarni qayta ishlatadi, ajralish nuqtalarida tarmoqlar yaratadi va ularni trayektoriya daraxtiga joylashtiradi. Bu har bir chiqish doimo uning generatsiya paytidagi asl kontekstiga mos bo‘lishini ta’minlaydi. O‘qitishga qabul qilish bosqichida har bir bajarilish uchun rol ustuvorligiga ko‘ra Jmax tadan ko‘p bo‘lmagan trayektoriya tanlanadi; faqat siyosat modeli yaratgan tokenlar yo‘qotishga kiritiladi, umumiy maqsad esa faqat bir marta hisoblanadi. Yo‘qotish avval bajarilish ichida tanlangan tokenlar bo‘yicha o‘rtachalanadi, so‘ng bajarilishlar bo‘yicha o‘rtachalanadi. Natijada bajarilish vazni uning tarmoqlari sonidan mustaqil bo‘ladi. Partial Scoring bilan birga vaqt tugagan vazifalarning yakunlangan qismlarini baholash va ball berish uzoq davomli bajarilishlarda kam uchraydigan, ammo qimmatli samarali signallardan maksimal foydalanish imkonini beradi.

Hozircha QwenGyre maqola shaklida e’lon qilingan, Alibaba esa kod va o‘rnatish paketini hali ochiqlamagan.

Flagman model uchun uzoq davomli onlayn RL’ni ilk bor amalga oshirish: Qwen3.8-2.4T’da bir martalik taxminan 700 ming tokenli vazifalar uchun onlayn mustahkamlovchi o‘qitish bajarildi va 48 qadamda NL2RepoBench o‘tish ko‘rsatkichi 52.48% dan 58.54% gacha oshirildi.
O‘qitish samaradorligi keskin oshdi: bir xil GPU budjeti sharoitida uchdan-uchgacha tezlashtirish Async’ga nisbatan 1.78×, Colocate’ga nisbatan 1.85× ga yetdi; 48 qadamlik o‘qitish vaqti 134.55 soatdan 75.42 soatgacha qisqardi.
Vazifani umuman to‘xtatmaydigan elastik rejalashtirish: GPU sampling va o‘qitish o‘rtasida dinamik almashtirilganda agent bajarilishi, ish maydoni va vositalar holati to‘liq saqlanadi. Almashtirish atigi bir necha soniya davom etadi va bir necha soatlik bajarilish bilan solishtirganda e’tiborsiz darajada qisqa.
GPU’dan foydalanishni maksimal darajaga yetkazish: cell darajasidagi nozik resurs taqsimoti Colocate rejimidagi uzoq kutish va bekor turish hamda Async rejimidagi qat’iy bo‘linish muammolarini bartaraf etadi, o‘qitish esa sampling tomonidan to‘liq yashirilishi mumkin.
Haqiqiy kontekstga sodiq o‘qitish: TITO mexanizmi har bir chiqish uning generatsiya paytidagi asl kontekstiga mos kelishini kafolatlaydi va tarixni siqish yoki quyi agentlar kontekstini birlashtirish natijasida yuzaga keladigan “soxta kontekst” o‘qitish signallarining oldini oladi.

arXiv texnik maqolasi: https://arxiv.org/pdf/2609.33848

Tabiiy tildan to‘liq kod repozitoriyasini yaratish: tabiiy tildagi spetsifikatsiya asosida noldan ko‘p paketli dasturiy ta’minot repozitoriyasini qurish; bir martalik bajarilish taxminan 700 ming token va bir necha soat davom etadi.
Mavjud repozitoriylarda uzoq davomli dasturiy muhandislik: mavjud kod bazasida funksiyalarni ishlab chiqish, xatolarni tuzatish va fayllararo o‘zgartirishlar kabi murakkab vazifalarni bajarish.
Ko‘p bosqichli terminal avtomatlashtirish: agent buyruq satri muhitida yuzlab vosita chaqiruvlarini ketma-ket bajarib, tizimni sozlash va ekspluatatsiya vazifalarini amalga oshiradi.
Katta kod bazalarini qayta tuzish va migratsiya qilish: repozitoriylararo texnologik stekni yangilash, to‘liq qayta tuzish va bir necha soatlik uzluksiz rejalashtirishni talab qiladigan boshqa muhandislik vazifalari.
Ko‘p agentli hamkorlik vazifalari: asosiy agent quyi agentlarga topshiriq beradigan ierarxik bajarilish ssenariylarida trayektoriyalarni qayta ishlash tarmoqlanish tuzilmasidan foydalanib, quyi vazifalarni o‘qitish xarajatlarini nazorat qiladi.