Ujifunzaji wa kuimarisha umekuwa mtindo mkuu wa mafunzo ya miundo mikubwa, ukisukuma teknolojia ya miundo kuelekea utekelezaji wa kihandisi katika matukio muhimu ya sekta. Uthabiti kati ya mafunzo na uelekezaji ni muhimu sana, kwa sababu michakato ya uelekezaji na mafunzo imeunganishwa, na tofauti za miundombinu zinaweza kuongeza kutokuwa na uhakika.
Tarehe 5 Agosti, Huawei Computing ilitangaza rasmi kwamba Ascend hutoa seti kamili ya waendeshaji wa uthabiti wa mafunzo na uelekezaji kwa kutumia lugha ya programu ya Ascend C. Katika majaribio kwenye modeli ya Qwen3-30B MoE, Logdiff ilifikia 0, huku uboreshaji wa waendeshaji wa FA unaolingana na Ascend ukileta faida ya utendaji ya 20%-60% katika hali ya Eager, na kuwapa wasanidi programu suluhisho bora na linalotegemeka la mafunzo ya ujifunzaji wa kuimarisha.
Sababu kuu ya kutokuwiana kati ya mafunzo na uelekezaji katika mafunzo ya baada ya RL ni kwamba jumlisho za hesabu za kiwango cha chini hazihifadhi mpangilio. Ili kuhakikisha kutoka juu hadi chini kwamba injini ya mafunzo na injini ya uelekezaji zinatumia mpangilio uleule wa jumlisho kila mara, upande wa mfumo na upande wa waendeshaji lazima ufanye kazi kwa pamoja. Kadiri vigezo vya modeli vinavyoongezeka, tatizo huzidi kuwa kubwa: mikakati ya kugawanya kama usambamba wa tenzori na usambamba wa wataalamu, pamoja na njia za mawasiliano ya pamoja, ikiwa hatua yoyote haitalingana, haiwezekani kufikia true-on-policy hatimaye. Waendeshaji pia wanahitaji kushughulikia hali mbalimbali za matumizi, kuweka vizuizi kwenye hatua muhimu za hesabu, huku hasara ya utendaji ikidhibitiwa ndani ya kiwango kinachokubalika. Hili ni changamoto ya kihandisi ya kimfumo.
Kutokuwiana kati ya mafunzo na uelekezaji kunamaanisha kutokuwiana kwa thamani za nambari kati ya injini ya Rollout (uelekezaji) na injini ya mafunzo. Hata kama zote zinatumia uzani uleule wa modeli, kunaweza kuwa na tofauti ndogo katika uwezekano wa logarithm (logprob) unaohesabiwa kwa mfuatano uleule wa Token; tofauti hii kwa kawaida hupimwa kwa logdiff.
Kwa kutumia lugha ya programu ya Ascend C, Ascend imeweka vizuizi na kufanya ulinganifu wa kimfumo kwenye waendeshaji muhimu katika mnyororo wa mafunzo na uelekezaji. Wazo kuu ni kuhakikisha kwamba mafunzo na uelekezaji vinatumia njia ileile ya nambari katika sehemu zinazohitaji jumlisho. Marekebisho makuu 4 ni kama yafuatayo:
Kuunganisha maana ya umakini: Kulinganisha eneo la hesabu katika nafasi halali kati ya Softmax ya kinyago cha mafunzo na umakini wa hatua kwa hatua wa uelekezaji, na kuondoa tofauti za nambari zinazosababishwa na seti tofauti za Token zinazoonekana.
Kufunga mpangilio wa jumlisho wa reduce: Kuweka masharti kwenye mgawanyo na mpangilio wa upunguzaji katika vipimo vya reduction vya FA ya mafunzo na PFA / PagedAttention ya uelekezaji, ili kuzuia jumlisho kutohifadhi mpangilio kutokana na mgawanyo tofauti wa kiolezo kilekile.
Kulinganisha mkakati wa kugawa wa Softmax ya mtandaoni: Kuunganisha ukubwa wa vizuizi na mdundo wa upunguzaji, ili kuzuia kutokuwiana kati ya Softmax ya kuunganisha vizuizi vingi upande wa decoder na Softmax iliyogawanywa upande wa mafunzo.
Kulinganisha usahihi wa njia muhimu: Kuunganisha mkakati wa kubadilisha usahihi katika hatua nyeti kama jumlisho la Softmax, na kupunguza makosa ya sehemu ya mwisho yanayosababishwa na tofauti za utekelezaji wa usahihi mseto.
Kwa msingi huu, pamoja na uboreshaji wa usambazaji na uratibu wa FA, uthabiti kati ya mafunzo na uelekezaji hauhitaji tena kulipiwa kwa kupungua kwa kiasi kikubwa kwa utendaji. Hivyo, majaribio halisi yalipata logdiff=0 pamoja na kuongeza kasi kutoka mwanzo hadi mwisho.
Huawei ilitangaza kwamba miundombinu husika tayari imewekwa wazi kama chanzo huria, na pia itazindua “Skill ya kutambua matatizo ya uthabiti wa mafunzo na uelekezaji”, inayosaidia kuchunguza logdiff iliyosalia na kubaini ikiwa tatizo linatokana na njia ya mwendeshaji au tofauti za utekelezaji wa mfumo.
Anwani ya chanzo huria ni:
https://github.com/verl-project/verl-ascend-recipe/tree/main/true_on_policy