Huawei imetangaza leo kuwa modeli ya Pangu openPangu-2.0-Pro yenye vigezo 5050 亿 (uzani wa modeli na msimbo wa msingi wa uelekezaji) pamoja na ripoti ya kiufundi zimetolewa rasmi kama chanzo huria.
openPangu ni chapa ya modeli za AI za Huawei iliyotolewa kama chanzo huria, inayolenga kutoa marejeo bora ya utendaji kwa sekta ili kutumia vyema Ascend kupitia teknolojia za mafunzo na uelekezaji asilia za Ascend.
openPangu-2.0-Pro ni modeli kubwa ya lugha yenye mchanganyiko wa wataalamu (MoE), iliyofunzwa kwa kutumia NPU ya Ascend. Ina takriban vigezo 505B, huku idadi ya vigezo vinavyoamilishwa kwa kila token ikiwa takriban 18B. Modeli hii inasaidia urefu wa muktadha wa 512k, na jumla ya data ya mafunzo ni takriban token 34T. Katika hatua ya baada ya mafunzo, ilikamilisha urekebishaji wa pamoja wa kasi na ubora (SFT), ujifunzaji wa kuimarisha wa maeneo mbalimbali (RL), na kuunganisha uwezo kupitia usambazaji wa maarifa mtandaoni (OPD).
openPangu-2.0-Pro imepata maboresho ya kina katika usanifu wa modeli:
Usanifu wa Attention: Inatumia MLA yenye ufanisi, pamoja na usanifu huru wa mchanganyiko wa tabaka wa DSA+SWA, wenye uwiano wa tabaka wa 1:2. Tabaka la SWA linawajibika kwa uundaji wa madirisha ya eneo, huku tabaka la DSA likiwajibika kwa ujumlishaji adimu wa kimataifa. Hii hupunguza kwa kiasi kikubwa gharama za ukokotoaji, kumbukumbu ya video na ufikiaji wa kumbukumbu wakati wa kuelekeza mfuatano mrefu, bila kupunguza usahihi.
Usanifu wa topolojia: Miunganisho ya jadi ya mabaki imeboreshwa kuwa usanifu wa mHC wenye mitiririko 4, na hivyo kuongeza utofauti wa uwakilishi na uwezo wa kujumlisha.
Moduli ya kujitabiria: Inatumia usanifu wa MTP wenye vichwa 3, unaotabiri token 3 za ziada kwa wakati mmoja na kuongeza kwa kiasi kikubwa kasi ya uelekezaji wa modeli.
Kiboresha cha Muon: Kiboresha cha Muon hutumiwa wakati wa mafunzo ili kufikia kasi ya haraka zaidi ya kukusanyika.
Katika hotuba kuu ya HDC 2026, Mkutano wa Wasanidi wa Huawei uliofanyika Juni mwaka huu, Yu Chengdong, mkurugenzi mtendaji wa Huawei, mwenyekiti wa Kamati ya Mapitio ya Uwekezaji wa Bidhaa na mwenyekiti wa Terminal BG, alitangaza kuwa vipengele 7 vya openPangu 2.0 vitatolewa kama chanzo huria hatua kwa hatua kuanzia Juni 30, vikiwemo msimbo wa mafunzo ya awali, msimbo wa mafunzo ya baadae na opereta za mafunzo zilizotolewa kama chanzo huria kwa mara ya kwanza.
Juni 30, modeli ya openPangu-2.0-Flash yenye vigezo 92B ilitolewa rasmi kama chanzo huria.
Kuhusu openPangu-2.0-Pro yenye jumla ya vigezo 505B pekee, Yu Chengdong aliwahi kueleza kuwa uwezo mkubwa wa kompyuta uliunga mkono mahitaji ya makampuni mengine ya ndani, hivyo kiasi kilichobaki kwa Huawei yenyewe kilikuwa kidogo sana. Aidha, gharama ya uwezo wa kompyuta wa AI ni kubwa mno, na Huawei inalenga zaidi kuboresha muda wa kusubiri na kiwango cha upitishaji.
Vipengele vinavyohusiana na modeli ya openPangu-2.0 vimewekwa hatua kwa hatua kwenye majukwaa ya chanzo huria. Anwani ya chanzo huria:
https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro