Mustahkamlovchi o‘qitish katta til modellarini o‘qitishning asosiy paradigmasiga aylandi va model texnologiyalarini sanoatning muhim ssenariylariga muhandislik asosida joriy etishni jadallashtirmoqda. Bunda trening va inferensiya izchil bo‘lishi nihoyatda muhim, chunki inferensiya va o‘qitish jarayonlari o‘zaro bog‘langan, infratuzilmadagi farqlar esa noaniqlikni kuchaytirishi mumkin.
Huawei Computing rasmiy manbasi 5-avgust kuni Ascend Ascend C dasturlash tili asosida trening va inferensiya izchilligini ta’minlovchi to‘liq operatorlar to‘plamini taqdim etganini e’lon qildi. Qwen3-30B MoE modelidagi sinovda Logdiff 0 ga teng bo‘ldi. Bundan tashqari, Ascend uchun optimallashtirilgan FA operatorlari orqali Eager rejimida 20%-60% unumdorlik o‘sishiga erishildi va dasturchilarga samarali hamda ishonchli mustahkamlovchi o‘qitish yechimi taqdim etildi.
RL post-treningida trening va inferensiyaning mos kelmasligining eng asosiy sababi — quyi darajadagi hisoblashda qo‘shish tartibi saqlanmasligidir. Trening dvigateli va inferensiya dvigatelida har bir qo‘shish tartibini yuqoridan pastgacha bir xil ta’minlash uchun freymvork va operator darajalari birgalikda ishlashi kerak. Model parametrlari qancha katta bo‘lsa, muammo shuncha kuchayadi: tensor parallelligi, ekspertlar parallelligi kabi bo‘lish strategiyalari hamda kollektiv aloqa yo‘llarining istalgan bosqichidagi nomuvofiqlik yakuniy true-on-policy holatiga erishishga yo‘l qo‘ymaydi. Operatorlar turli chaqiruv ssenariylarini ham qamrab olishi, muhim hisoblash bosqichlariga cheklovlar qo‘yishi va unumdorlik yo‘qotilishini foydalanish mumkin bo‘lgan darajada ushlab turishi kerak. Bu tizimli muhandislik muammosidir.
Trening va inferensiya nomuvofiqligi Rollout (inferensiya) dvigateli bilan trening dvigateli o‘rtasidagi sonli nomuvofiqlikni anglatadi. Ikkalasi aynan bir xil model og‘irliklaridan foydalansa ham, bir xil Token ketma-ketligi uchun hisoblangan logarifmik ehtimolliklarda (logprob) kichik farqlar bo‘lishi mumkin; bu farq odatda logdiff orqali o‘lchanadi.
Ascend Ascend C dasturlash tili asosida trening va inferensiya zanjiridagi muhim operatorlarga tizimli cheklov va moslashtirishlarni joriy etdi. Asosiy g‘oya shundan iboratki, trening va inferensiya «qo‘shish kerak bo‘lgan joylarda» bir xil sonli yo‘ldan foydalanadi. Bunda quyidagi 4 ta o‘zgartirish amalga oshirildi:
Diqqat semantikasini birlashtirish: Trening maskasi Softmax va inferensiyadagi bosqichma-bosqich diqqat mexanizmining samarali pozitsiyalardagi hisoblash doirasi moslashtirildi, ko‘rinadigan Token to‘plamlaridagi farqdan kelib chiqadigan sonli tafovut bartaraf etildi.
Reduce qo‘shish tartibini qat’iy belgilash: Treningdagi FA hamda inferensiyadagi PFA / PagedAttention operatorlarida reduksiya o‘lchamining bo‘linishi va yig‘ish tartibi cheklab qo‘yildi, «bir xil shablon, turli bo‘linish» sababli qo‘shish tartibi saqlanmasligining oldi olindi.
Onlayn Softmax bloklarga bo‘lish strategiyasini moslashtirish: Blok hajmi va yig‘ish sur’ati birlashtirildi, decoder tomonidagi ko‘p blokli Softmax birlashtirilishi bilan trening tomonidagi bloklangan Softmax o‘rtasidagi nomuvofiqlik bartaraf etildi.
Muhim yo‘l aniqligini moslashtirish: Softmax qiymatlarini qo‘shish kabi sezgir bosqichlarda aniqlikni o‘zgartirish strategiyasi birlashtirildi va aralash aniqlikdagi amalga oshirishlar farqidan kelib chiqadigan mantissa xatolari kamaytirildi.
Shu asosda FA ni yuborish va rejalashtirish optimallashtirishlari bilan birgalikda trening va inferensiya izchilligi endi sezilarli unumdorlik pasayishi evaziga ta’minlanmaydi. Natijada amaliy sinovlarda bir vaqtning o‘zida logdiff=0 va uchdan-uchigacha tezlashishga erishildi.
Huawei tegishli infratuzilma ochiq manbaga chiqarilganini e’lon qildi. Shuningdek, qoldiq logdiff ni tekshirish hamda muammo operator yo‘lidanmi yoki freymvork amalga oshirilishidagi farqdanmi ekanini aniqlashni qo‘llab-quvvatlovchi «trening va inferensiya izchilligi muammolarini aniqlash Skill» funksiyasi ham ishga tushiriladi.
Ochiq manba manzili:
https://github.com/verl-project/verl-ascend-recipe/tree/main/true_on_policy