QwenGyre Inafanya kazi

QwenGyre ni mfumo wa mafunzo ya kuimarisha mtandaoni kwa mawakala wenye mfululizo mrefu sana, uliotolewa na Qwen ya Alibaba, unaolenga kazi za takriban tokeni 700,000 kwa utekelezaji mmoja na zinazodumu kwa saa kadhaa. QwenGyre hutumia upangaji ratiba unaobadilika kubadilisha GPU zisizo na kazi kati ya sampuli na mafunzo bila kukatiza kazi, huhifadhi muktadha halisi kupitia uchakataji wa trajectori, hutathmini matokeo yaliyokamilika kwa sehemu, na huondoa nakala za viambishi awali vinavyoshirikiwa ili kudhibiti gharama. Kwenye Qwen3.8-2.4T, katika hatua 48, iliongeza kiwango cha ufaulu cha NL2RepoBench kutoka 52.48% hadi 58.54%, huku ikipata kasi ya 1.78× ikilinganishwa na Async ya mwisho hadi mwisho.

Mafunzo ya kuimarisha mtandaoni kwa mawakala wenye mfululizo mrefu sana: Hufanya mafunzo ya RL moja kwa moja kwenye kazi zinazodumu hadi saa kadhaa na kufikia takriban tokeni milioni moja kwa jumla.
Upangaji ratiba unaobadilika wa GPU: Hubadilisha GPU zisizo na kazi kati ya sampuli na mafunzo bila kukatiza kazi.
Kuelekeza upya maombi na kuhamisha akiba ya KV: Wakati majukumu ya GPU yanapobadilika, wakala huendelea kufanya kazi, huku hali ya eneo la kazi na zana ikihifadhiwa; akiba ya KV huhamishwa kupitia RDMA ili kupunguza ukokotoaji unaorudiwa.
Mafunzo ya mtiririko na kujiunga kwa nodi mpya katikati: Cell kuu huhifadhi vigezo halali, huku cell za satelaiti zikichukua picha ya hali wakati wowote na kujiunga na kundi linaloendelea, zikichukua vikundi vidogo vya mafunzo kulingana na maendeleo.
Mti wa trajectori na uhifadhi wa muktadha halisi: Hutumia Token-in Token-out kurekodi kwa usahihi tokeni za ingizo na towe za kila mwito, na kuzipanga katika mti wa trajectori kulingana na viambishi awali vinavyoshirikiwa, ili kila towe liendelee kuhusishwa na muktadha uliokuwepo wakati wa uzalishaji.
Upimaji wa sehemu (Partial Scoring): Kazi iliyochelewa na kutokamilika lakini iliyozaa matokeo yanayoweza kuthibitishwa bado hupimwa kulingana na kanuni za kazi na kutumika kwa mafunzo.
Bajeti ya trajectori na kusawazisha hasara: Kila utekelezaji huhifadhi hadi trajectori Jmax, huku kiambishi awali kinachoshirikiwa kikihesabiwa hasara mara moja tu, kuzuia kazi zenye matawi mengi kupewa uzito kupita kiasi.

Mpangaji ratiba anayebadilika (Elastic Scheduler): Hugawa GPU katika vitengo kadhaa vya kompyuta vinavyofanana. Kila cell inaweza kutoa huduma ya sampuli kupitia SGLang au kubeba nakala kamili ya mafunzo kupitia Megatron. Mpangaji hufuatilia “kiwango cha maji”, yaani kiasi cha kazi ambazo hazijakamilika. Mradi tu uwezo uliosalia wa sampuli unatosha kusaidia kazi zinazoendelea na ugavi wa data ya mafunzo unatosha, cell huingizwa moja baada ya nyingine kwenye mafunzo kwa mpangilio. Wakati wa ubadilishaji, wakala huelekeza upya maombi ya modeli kwenye injini mpya ya uelekezaji na kujaribu tena maombi ambayo hayajakamilika; michakato ya nyuma na vikundi vya mawasiliano havihitaji kujengwa upya. Cell kuu hushikilia uzito halali na hali ya kioptimishaji, huku cell za satelaiti zikichukua picha ya vigezo kupitia RDMA na kujiunga na jumla ya gradient ya kundi la sasa. Mwishowe, cell kuu huunganisha na kusasisha matokeo, hivyo mafunzo hupanuka hatua kwa hatua kadiri data inavyopatikana, huku sampuli na mafunzo vikifanyika kwa mwingiliano mkubwa.
Uchakataji wa trajectori (Trajectory Processor): QwenGyre hutumia wakala kurekodi tokeni za kitambulisho za ingizo/towe na uwezekano wa logi wa sera ya tabia kwa kila mwito wa modeli. Viambishi awali vinavyoshirikiwa hutumiwa tena, na matawi huundwa kwenye sehemu za mgawanyiko ili kuunda mti wa trajectori, na kuhakikisha kuwa kila towe linaendana na muktadha wake halisi wa wakati wa uzalishaji. Katika hatua ya kuruhusu mafunzo, huchagua trajectori zisizozidi Jmax kwa kila utekelezaji kulingana na kipaumbele cha jukumu; tokeni zinazozalishwa na modeli ya sera pekee ndizo hushiriki katika hasara, na lengo linaloshirikiwa huhesabiwa mara moja tu. Hasara kwanza hukadiriwa kwa wastani wa tokeni zilizochaguliwa ndani ya utekelezaji, kisha utekelezaji wenyewe hukadiriwa kwa wastani, hivyo uzito wa utekelezaji hautegemei idadi ya matawi yake. Pamoja na Partial Scoring, sehemu zilizokamilika za kazi zilizochelewa hupimwa, na hivyo kuongeza matumizi ya ishara chache lakini zenye gharama kubwa zinazopatikana katika utekelezaji wa muda mrefu sana.

Kwa sasa QwenGyre imetolewa katika muundo wa makala ya utafiti; Alibaba bado haijachapisha msimbo wala kifurushi cha usakinishaji.

Mafunzo ya kwanza ya mtandaoni ya RL kwa modeli kubwa katika mfululizo mrefu sana: Kwenye Qwen3.8-2.4T, ilikamilisha mafunzo ya kuimarisha mtandaoni kwa kazi za takriban tokeni 700,000 kwa utekelezaji mmoja, na katika hatua 48 ikaongeza kiwango cha ufaulu cha NL2RepoBench kutoka 52.48% hadi 58.54%.
Ufanisi wa mafunzo umeongezeka kwa kiasi kikubwa: Kwa bajeti sawa ya GPU, kasi ya mwisho hadi mwisho hufikia 1.78× dhidi ya Async na 1.85× dhidi ya Colocate; muda wa mafunzo ya hatua 48 umepungua kutoka saa 134.55 hadi saa 75.42.
Upangaji ratiba unaobadilika bila kukatiza kazi: Wakati GPU zinapobadilika kati ya sampuli na mafunzo, utekelezaji wa wakala, eneo la kazi na hali ya zana huhifadhiwa kikamilifu. Ubadilishaji huchukua sekunde chache tu, muda usio na umuhimu ukilinganishwa na utekelezaji wa saa kadhaa.
Matumizi ya juu zaidi ya GPU: Ugawaji wa rasilimali kwa kiwango cha cell huondoa kusubiri kwa muda mrefu na GPU kutofanya kazi katika hali ya Colocate, pamoja na ugumu wa mgawanyo maalum wa hali ya Async; mafunzo yanaweza kufichwa kikamilifu nyuma ya sampuli.
Mafunzo yanayohifadhi uhalisia wa muktadha: Utaratibu wa TITO huhakikisha kuwa kila towe linaendana na muktadha wake halisi wa wakati wa uzalishaji, na kuepuka ishara za mafunzo za “muktadha bandia” zinazosababishwa na kubana historia au kuunganisha muktadha wa mawakala wadogo.

Makala ya kiufundi ya arXiv: https://arxiv.org/pdf/2609.33848

Uzalishaji wa hazina kamili ya msimbo kutoka kwa lugha asilia: Kujenga hazina ya programu yenye vifurushi vingi kutoka mwanzo kulingana na mahitaji ya lugha asilia, kwa utekelezaji mmoja wa takriban tokeni 700,000 na unaodumu hadi saa kadhaa.
Uhandisi wa programu wa muda mrefu kwenye hazina zilizopo: Kukamilisha uundaji wa vipengele, kurekebisha hitilafu na kufanya mabadiliko katika faili nyingi ndani ya hazina iliyopo.
Uendeshaji wa kiotomatiki wa vituo kwa raundi nyingi: Wakala hufanya mamia ya miito ya zana mfululizo katika mazingira ya mstari wa amri ili kukamilisha usanidi wa mfumo na kazi za uendeshaji na matengenezo.
Urekebishaji na uhamishaji wa hazina kubwa za msimbo: Kuboresha teknolojia katika hazina mbalimbali na kufanya urekebishaji wa jumla, pamoja na kazi za uhandisi zinazohitaji upangaji na utekelezaji mfululizo kwa saa kadhaa.
Kazi za ushirikiano wa mawakala wengi: Matukio ya utekelezaji wa ngazi ambapo wakala mkuu huwapa mawakala wadogo kazi; uchakataji wa trajectori unaweza kutumia muundo wa matawi kudhibiti gharama ya mafunzo ya kazi ndogo.