文心5.5 Flash Base Inafanya kazi

文心5.5 Flash Base ni modeli ya hivi punde ya msingi iliyotolewa kwa chanzo huria na Baidu. Inatumia usanifu wa Sparse MoE, ikiwa na jumla ya vigezo bilioni 280, ikiwasha bilioni 14 kwa kila tokeni, imefunzwa awali kwa tokeni trilioni 33.5, na inaauni muktadha wa hadi tokeni milioni 1. 文心5.5 Flash Base inalenga ubunifu wa ufanisi: umakini adimu hupunguza gharama ya maandishi marefu, Multi-Router MoE huboresha uelekezaji, na ECHO hutumia tena safu ya mwisho ya msingi kutabiri tokeni zinazofuata. Kwa mujibu wa taarifa rasmi, inafikia SOTA miongoni mwa modeli za ukubwa sawa katika vigezo vingi, na tayari inapatikana kwenye HuggingFace.

Msingi wa maandishi wenye utendaji wa juu: Sparse MoE yenye jumla ya vigezo bilioni 280, ambapo ni bilioni 14 tu huamilishwa kwa kila tokeni, ikitoa uwezo wa jumla wa maandishi wa SOTA katika ukubwa huo.
Muktadha mrefu sana: Muktadha wa mafunzo ya awali ni 128K, huku urekebishaji na uendeshaji ukisaidia hadi tokeni milioni 1.
Uwezo mpana: Inafikia utendaji bora zaidi miongoni mwa modeli za ukubwa sawa katika maarifa, hoja, hisabati, msimbo, lugha nyingi na muktadha mrefu.
Chanzo huria kinachoweza kubinafsishwa: Uzito wa FP8 na BF16 unapatikana kwenye HuggingFace, ukiwawezesha wasanidi na biashara kufanya urekebishaji na kujenga modeli maalumu.
Mfumo kamili wa uendeshaji: Taarifa rasmi inatoa programu-jalizi ya vLLM, SGLang Cookbook na mifano ya urekebishaji ya Megatron-Bridge.

Fuata WeChat na ujibu “开源” ili kujiunga na kundi la mawasiliano la miradi ya AI ya chanzo huria
Latent-Gated Sparse Attention: Huunganisha umakini uliobanwa sana (HCA) na Multi-Head Latent Attention (MLA) kuwa usanifu wenye mgawanyo wa majukumu. Tabaka 37 hushughulikia taarifa za historia kwenye mfuatano uliobanwa mara 128, huku tabaka 6 pekee zikihusika na utafutaji wa kina, hivyo kupunguza kwa kiasi kikubwa gharama ya Long-Context KV Cache; Low-Rank Gated Attention hutumia tena latent ya query ya kiwango cha chini inayozalishwa na tabaka lenyewe la umakini kukokotoa lango la matokeo, ikipunguza vigezo vya makadirio ya lango kwa 75% na kuboresha matokeo; Virtual Head Attention (VHA) huongeza uwezo wa uwakilishi wakati wa mafunzo, na huunganishwa kwenye opereta ya umakini wakati wa uendeshaji, ikiwa na gharama ndogo sana ya ziada.
Multi-Router Latent MoE: Hushirikisha waelekezaji wengi huru katika uteuzi wa wataalamu, huboresha uhusiano kati ya alama za uelekezaji na manufaa halisi ya wataalamu, na kupunguza athari za upendeleo wa alama moja kwenye uteuzi wa njia, huku idadi ya wataalamu wanaoamilishwa, kiasi cha ukokotoaji wa wataalamu na kiasi cha mawasiliano vikibaki bila kubadilika.
Lengo la mafunzo la ECHO: Haiongezi moduli ya MTP; badala yake, hutumia tena safu ya mwisho ya msingi ili modeli ijifunze kutabiri tokeni zinazofuata, kupanga mapema mwelekeo wa mfuatano na kuboresha uwezo wa hoja na msimbo. Safu inayotumiwa tena inaweza kutumika moja kwa moja kama modeli rasimu ya decoding ya kubahatisha. Mafunzo ya hatua moja pekee yanaweza kuonyesha uwezo wa kutabiri hatua nyingi, na ubora wa rasimu ni bora kwa kiasi kikubwa kuliko moduli saidizi ya MTP.
Uboreshaji wa mfumo wa mafunzo: Kiboreshaji cha Muon kilichosambazwa huunganisha mawasiliano ya vigezo vya Dense na MoE kati ya mashine kuwa mawasiliano ya pamoja mara moja. Pamoja na usahihi mseto wa FP8, huboresha ufanisi wa mafunzo makubwa; opereta ya umakini ya FlashMask-4 iliyotengenezwa ndani, inayotegemea CuTe-DSL, inaauni usanifu wa SM90/SM100 na head dim ya hadi 576, na kuendana moja kwa moja na ukokotoaji wa vichwa vipana wa tabaka la HCA.

Andaa mazingira ya maunzi: Modeli ina jumla ya vigezo bilioni 280. Hata uzito uliokadiriwa kwa FP8 ni takribani 280GB, hivyo unahitaji seva yenye GPU nyingi za kiwango cha juu, kama mfululizo wa H wenye usanifu wa SM90/SM100; kadi moja haiwezi kuibeba.
Pakua uzito wa modeli: Vuta hazina rasmi kutoka HuggingFace, kisha chagua toleo la FP8 (baidu/ERNIE-5.5-Flash-Base) au BF16 kulingana na mahitaji, kwa mfano huggingface-cli download baidu/ERNIE-5.5-Flash-Base --local-dir ./ernie-base.
Sakinisha mfumo wa uendeshaji: Weka programu-jalizi rasmi ya vLLM ya Baidu (baidu/vLLM-ERNIE) ili kuendana na usanifu wake wa umakini adimu, au tumia SGLang Cookbook rasmi.
Anzisha huduma ya uendeshaji: Endesha vllm serve ukielekeza kwenye njia ya ndani ya uzito, weka --tensor-parallel-size kulingana na idadi ya kadi na uwashe --enable-expert-parallel. Baada ya huduma kuanza, itatoa kiolesura kinachoendana na OpenAI.
Anzisha ombi: Tuma maombi kwa umbizo la kawaida la OpenAI API kwenye porti ya ndani. Unaweza kusanidi muktadha wa hadi tokeni milioni 1, kulingana na kumbukumbu ya video kwa kurekebisha --max-model-len.
Fanya urekebishaji maalumu: Tumia mfano rasmi wa Megatron-Bridge kwa mafunzo endelevu ya awali ya kikoa au SFT.

Ufanisi wa hali ya juu wa uendeshaji: Usanifu wa Sparse MoE wenye jumla ya vigezo bilioni 280 huamilisha vigezo bilioni 14 pekee kwa kila tokeni, ukibeba uwezo wa modeli kubwa kwa gharama ndogo sana ya ukokotoaji.
Uwezo wa muktadha mrefu sana: Muktadha wa mafunzo ya awali ni 128K, huku urekebishaji na uendeshaji ukisaidia hadi tokeni milioni 1, na kupunguza kwa kiasi kikubwa gharama ya rasilimali ya kuchakata maandishi marefu.
Utendaji bora zaidi katika ukubwa huo: Tathmini rasmi inaonyesha kuwa imepata SOTA miongoni mwa modeli za ukubwa sawa katika vigezo 30 vinavyohusu maarifa, hoja, hisabati, msimbo, lugha nyingi na muktadha mrefu.
Ubunifu wa kimfumo wa ufanisi: Latent-Gated Sparse Attention, Multi-Router MoE na lengo la mafunzo la ECHO huboresha kwa pamoja umakini, uelekezaji na lengo la mafunzo.
Msingi thabiti wa uhandisi: Kiboreshaji cha Muon kilichosambazwa, usahihi mseto wa FP8 na opereta ya FlashMask-4 iliyotengenezwa ndani huhakikisha ufanisi wa mafunzo na uendeshaji kwa kiwango kikubwa.

Tovuti rasmi ya mradi: https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
Hazina ya modeli ya HuggingFace: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

Uchakataji wa kina wa hati ndefu: Kwa kutegemea muktadha wa hadi tokeni milioni 1, inaweza kuchakata kwa wakati mmoja mkataba mzima wa kisheria, ripoti ya kifedha, mkusanyiko wa makala au hazina ya msimbo, na kufanya muhtasari wa hati nzima, kujibu maswali ya kuvuka sura na kutoa taarifa.
Msaada wa utafiti na uundaji wa msimbo: Kwa uwezo wake bora wa msimbo na muktadha mrefu sana, inaweza kuelewa muundo wa hazina nzima kwa ajili ya kuzalisha msimbo, kutoa mapendekezo ya urekebishaji na kuchanganua kasoro kati ya faili.
Uundaji wa modeli za kikoa: Kwa kuwa ni msingi wa chanzo huria ambao haujafanyiwa mafunzo ya baadae, biashara zinaweza kuufanyia urekebishaji kwa kutumia data ya sekta zao na kujenga modeli maalumu za sheria, fedha, afya na nyanja nyingine.
Uchakataji wa maudhui ya lugha nyingi: Uwezo wake wa lugha nyingi unafikia SOTA miongoni mwa modeli za ukubwa sawa, hivyo unafaa kwa tafsiri ya hati za lugha mbalimbali, ukaguzi wa maudhui ya kimataifa na maswali katika misingi ya maarifa ya kimataifa.