ERNIE 5.5 Flash Base Faoliyat yuritmoqda

ERNIE 5.5 Flash Base — Baidu tomonidan ochiq manbaga chiqarilgan eng yangi bazaviy model bo‘lib, siyrak MoE arxitekturasidan foydalanadi. Jami 280 milliard parametrga ega, har bir token uchun 14 milliard parametr faollashadi, 33,5 trillion token bilan oldindan o‘qitilgan va 1 million tokenlik kontekstni qo‘llab-quvvatlaydi. ERNIE 5.5 Flash Base samaradorlik innovatsiyalariga e’tibor qaratadi: siyrak diqqat mexanizmi uzun matnlar xarajatini kamaytiradi, ko‘p yo‘nalishli routerli MoE marshrutlashni optimallashtiradi, ECHO esa asosiy tarmoqning oxirgi qatlamidan foydalanib keyingi tokenlarni bashorat qiladi. Rasmiy ma’lumotlarga ko‘ra, u bir xil o‘lchamdagi modellar orasida bir nechta benchmarklarda SOTA natijalariga ega va HuggingFace platformasida e’lon qilingan.

Yuqori unumdor matn bazasi: jami 280 milliard parametrli siyrak MoE, har bir token uchun atigi 14 milliard faol parametr va bir xil o‘lchamdagi modellar darajasidagi SOTA umumiy matn imkoniyatlari.
Juda uzun kontekst: oldindan o‘qitish konteksti 128K, nozik sozlash va inferensiya uchun maksimal 1 million tokenni qo‘llab-quvvatlaydi.
To‘liq imkoniyatlar qamrovi: bilim, mantiqiy xulosa, matematika, kod, ko‘p tillilik va uzun kontekst benchmarklarida bir xil o‘lchamdagi modellar orasida eng yaxshi natijalarni ko‘rsatadi.
Ochiq va moslashtiriladigan: FP8 va BF16 formatlaridagi og‘irliklar HuggingFace’ga joylangan, ishlab chiquvchilar va korxonalarga professional modellarni nozik sozlash imkonini beradi.
To‘liq inferensiya ekotizimi: rasmiy vLLM plagini, SGLang Cookbook va Megatron-Bridge orqali nozik sozlash namunalari taqdim etilgan.

WeChat’da kuzatib boring va “开源” so‘ziga javob berib, AI ochiq manba loyihalari guruhiga qo‘shiling
Latent-Gated Sparse Attention: kuchli siqilgan diqqat mexanizmi (HCA) va ko‘p boshli latent diqqatni (MLA) vazifalar bo‘yicha ajratilgan arxitekturaga birlashtiradi. 37 qatlam tarixiy ma’lumotlarni 128 baravar siqilgan ketma-ketlikda qayta ishlaydi, atigi 6 qatlam esa nozik qidiruvga mas’ul bo‘ladi. Natijada uzun kontekstdagi KV Cache xarajati sezilarli kamayadi; past rangli boshqariladigan diqqat diqqat qatlamining o‘zi hosil qilgan past rangli query latentdan chiqish eshigini hisoblashda qayta foydalanadi, boshqaruv proyeksiyasi parametrlari 75% ga kamayadi va natija yaxshilanadi; virtual boshli diqqat (VHA) o‘qitish vaqtida ifodalash qobiliyatini kuchaytiradi, inferensiya vaqtida esa diqqat operatoriga birlashtiriladi, qo‘shimcha xarajat nihoyatda kichik.
Multi-Router Latent MoE: ekspertlarni tanlashda bir nechta mustaqil router birgalikda ishtirok etadi. Bu marshrutlash bahosi bilan ekspertning amaldagi foydaliligi o‘rtasidagi bog‘liqlikni yaxshilaydi, yagona baholashdagi og‘ishning yo‘nalish tanlashga ta’sirini kamaytiradi va shu bilan birga faol ekspertlar soni, ekspert hisoblash hajmi hamda aloqa hajmini o‘zgartirmaydi.
ECHO o‘qitish maqsadi: qo‘shimcha MTP modulini kiritmaydi, balki asosiy tarmoqning oxirgi qatlamidan qayta foydalanib, modelning o‘ziga keyingi tokenlarni bashorat qilishni o‘rgatadi. Bu ketma-ketlik yo‘nalishini oldindan rejalashtirib, inferensiya va kodlash qobiliyatini yaxshilaydi; qayta foydalaniladigan qatlam spekulyativ dekodlash uchun to‘g‘ridan-to‘g‘ri qoralama model vazifasini bajarishi mumkin. Bir bosqichli o‘qitishning o‘zi ko‘p bosqichli ekstrapolyatsiya qobiliyatini namoyon etadi va qoralama sifati yordamchi MTP modulidan ancha yuqori bo‘ladi.
O‘qitish tizimini optimallashtirish: taqsimlangan Muon optimizatori Dense va MoE parametrlarining mashinalararo aloqasini bitta kollektiv aloqa operatsiyasiga birlashtiradi. FP8 aralash aniqligi bilan birga keng ko‘lamli o‘qitish samaradorligini oshiradi; CuTe-DSL asosidagi xususiy FlashMask-4 diqqat operatori SM90/SM100 arxitekturalari va maksimal 576 o‘lchamli head dim’ni qo‘llab-quvvatlaydi hamda HCA qatlamining keng boshli hisoblashiga bevosita moslashadi.

Uskuna muhitini tayyorlang: model jami 280 milliard parametrga ega. Hatto FP8 kvantlangan og‘irliklar ham taxminan 280 GB hajmni egallaydi, shuning uchun ko‘p kartali yuqori darajadagi GPU’lar, masalan H seriyasidagi SM90/SM100 arxitekturali serverlar kerak bo‘ladi. Bitta karta yetarli emas.
Model og‘irliklarini yuklab oling: rasmiy repozitoriydan HuggingFace orqali yuklang va ehtiyojga qarab FP8 (`baidu/ERNIE-5.5-Flash-Base`) yoki BF16 versiyasini tanlang. Buyruq namunasi: huggingface-cli download baidu/ERNIE-5.5-Flash-Base --local-dir ./ernie-base.
Inferensiya freymvorkini o‘rnating: siyrak diqqat arxitekturasiga moslashish uchun Baidu’ning rasmiy vLLM plaginini (`baidu/vLLM-ERNIE`) joylashtiring yoki rasmiy SGLang Cookbook’dan foydalaning.
Inferensiya xizmatini ishga tushiring: `vllm serve` buyrug‘ida mahalliy og‘irliklar yo‘lini ko‘rsating, kartalar soniga qarab `--tensor-parallel-size` parametrini belgilang va `--enable-expert-parallel` parametrini yoqing. Xizmat ishga tushgach, OpenAI’ga mos interfeys taqdim etiladi.
So‘rov yuboring: standart OpenAI API formatida mahalliy portga so‘rov yuboring. Maksimal 1 million tokenlik kontekstni sozlash mumkin (`--max-model-len` qiymatini videoxotira hajmiga qarab belgilang).
Nozik sozlash: rasmiy Megatron-Bridge namunasi asosida soha bo‘yicha qo‘shimcha oldindan o‘qitish yoki SFT bajaring.

Yuqori inferensiya samaradorligi: jami 280 milliard parametrli siyrak MoE arxitekturasi har bir token uchun atigi 14 milliard parametrni faollashtiradi va juda kam hisoblash xarajati bilan ulkan model sig‘imini ta’minlaydi.
Juda uzun kontekst: oldindan o‘qitish konteksti 128K, nozik sozlash va inferensiya uchun maksimal 1 million tokenni qo‘llab-quvvatlaydi, uzun matnlarni qayta ishlash resurslari xarajatini sezilarli kamaytiradi.
Bir xil o‘lchamdagi modellar orasida eng kuchli natijalar: rasmiy baholashlarga ko‘ra, bilim, mantiqiy xulosa, matematika, kod, ko‘p tillilik va uzun kontekst kabi 30 ta benchmarkda bir xil o‘lchamdagi modellar orasida SOTA natijalariga erishgan.
Tizimli samaradorlik innovatsiyasi: Latent-Gated siyrak diqqat, ko‘p routerli MoE va ECHO o‘qitish maqsadi diqqat, marshrutlash va o‘qitish maqsadi kabi uch bosqichni muvofiqlashtirib optimallashtiradi.
Mukammal muhandislik infratuzilmasi: taqsimlangan Muon optimizatori, FP8 aralash aniqligi va xususiy FlashMask-4 operatori keng ko‘lamli o‘qitish hamda inferensiya samaradorligini ta’minlaydi.

Loyiha rasmiy sayti: https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
HuggingFace model kutubxonasi: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

Uzun hujjatlarni chuqur qayta ishlash: maksimal 1 million tokenlik kontekstga tayanib, butun huquqiy shartnoma, moliyaviy hisobot, maqolalar to‘plami yoki kod bazasini bir martada qayta ishlashi, to‘liq matn xulosasi, boblararo savol-javob va ma’lumotlarni ajratib olishni amalga oshirishi mumkin.
Kod ishlab chiqishda yordam: kuchli kodlash qobiliyati va juda uzun kontekst yordamida butun repozitoriy tuzilmasini tushunib, kod yaratish, qayta tuzish bo‘yicha tavsiyalar va fayllararo nuqsonlar tahlilini bajarishi mumkin.
Soha modellarini moslashtirish: keyingi o‘qituvdan o‘tmagan ochiq bazaviy model sifatida korxonalar o‘z sohasi korpusi asosida uni nozik sozlab, huquq, moliya va tibbiyot kabi professional modellarni yaratishi mumkin.
Ko‘p tilli kontentni qayta ishlash: ko‘p tillilik bo‘yicha bir xil o‘lchamdagi modellar orasida SOTA darajasiga ega bo‘lib, tillararo hujjat tarjimasi, xalqaro kontent moderatsiyasi va global bilim bazalarida savol-javob uchun mos keladi.