文心5.5 Flash Base 运营中

文心5.5 Flash Base是百度开源的最新基座模型，采用稀疏MoE架构，总参数2800亿、每token激活140亿，经33.5万亿token预训练，支持100万token上下文。文心5.5 Flash Base主打效率创新，稀疏注意力降低长文开销，多路由器MoE优化路由，ECHO复用主干末层预测后续token。官方称多基准同尺寸SOTA，已上线HuggingFace。

高性能文本基座：2800亿总参数稀疏MoE、每token仅激活140亿，提供同尺寸SOTA的通用文本能力。
超长上下文：预训练上下文128K，微调与推理最长支持100万token。
全能力覆盖：在知识、推理、数学、代码、多语言、长上下文等基准上达到同尺寸模型最优。
开源可定制：FP8与BF16双版本权重上线HuggingFace，供开发者与企业微调构建专业模型。
推理生态完整：官方提供vLLM插件、SGLang Cookbook与Megatron-Bridge微调示例。

微信关注回复“开源”，加入AI开源项目交流群
Latent-Gated Sparse Attention：将重度压缩注意力（HCA）与多头潜在注意力（MLA）组合成分工架构，37层在128倍压缩序列上处理历史信息，仅6层负责细粒度检索，大幅降低长上下文KV Cache开销；低秩门控注意力复用注意力层自身生成的低秩query latent计算输出门，门控投影参数量减少75%且效果提升；虚拟头注意力（VHA）训练时增强表达力，推理时融合进注意力算子，额外开销极小。
Multi-Router Latent MoE：由多个独立路由器共同参与专家选择，改善路由评分与专家实际效用的相关性，降低单一评分偏差对选路的影响，同时保持激活专家数量、专家计算量和通信量均不变。
ECHO训练目标：不额外增加MTP模块，而是复用主干最后一层让模型自身学习预测后续token，提前规划序列走向，提升推理与代码能力；复用层可直接充当投机解码的草稿模型，单步训练即可展现多步外推能力，起草质量大幅优于辅助MTP模块。
训练系统优化：分布式Muon优化器将Dense与MoE参数的跨机通信合并为一次集合通信，配合FP8混合精度提升大规模训练效率；自研FlashMask-4注意力算子基于CuTe-DSL，支持SM90/SM100架构与最高576维head dim，直接适配HCA层的宽头计算。

准备硬件环境：模型总参数2800亿，即使FP8量化权重也约280GB，需准备多卡高端GPU（H系列等SM90/SM100架构）服务器，单卡无法承载。
下载模型权重：从HuggingFace拉取官方仓库，按需选择FP8版（baidu/ERNIE-5.5-Flash-Base）或BF16版，命令如 huggingface-cli download baidu/ERNIE-5.5-Flash-Base --local-dir ./ernie-base。
安装推理框架：部署百度官方vLLM插件（baidu/vLLM-ERNIE）以适配其稀疏注意力架构，或使用官方提供的SGLang Cookbook。
启动推理服务：运行 vllm serve 指向本地权重路径，按卡数设置 --tensor-parallel-size 并启用 --enable-expert-parallel，服务启动后暴露OpenAI兼容接口。
发起调用：通过标准OpenAI API格式向本地端口发送请求，可配置最长100万token上下文（视显存调整 --max-model-len）。
微调定制：基于官方Megatron-Bridge示例做领域继续预训练或SFT。

极致推理效率：2800亿总参数的稀疏MoE架构每token仅激活140亿参数，用极低计算成本承载超大模型容量。
超长上下文能力：预训练上下文128K，微调与推理最长支持100万token，长文处理资源开销大幅降低。
同尺寸最强性能：官方评测在知识、推理、数学、代码、多语言、长上下文等30项基准上取得同尺寸模型SOTA。
系统性效率创新：Latent-Gated稀疏注意力、多路由器MoE与ECHO训练目标从注意力、路由、训练目标三环节协同优化。
工程基建完善：分布式Muon优化器、FP8混合精度与自研FlashMask-4算子保障大规模训练推理效率。

项目官网：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
HuggingFace模型库：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

长文档深度处理：依托最长100万token上下文，可一次性处理整本法律合同、财报、论文集或代码库，做全文摘要、跨章节问答与信息抽取。
代码研发辅助：借助其突出的代码能力与超长上下文，可理解整个仓库结构进行代码生成、重构建议与跨文件缺陷分析。
领域模型定制：作为未经后训练的开源基座，企业可基于自身行业语料微调，构建法律、金融、医疗等专业领域模型。
多语言内容处理：多语言能力达同尺寸SOTA，适用于跨语言文档翻译、国际化内容审核与全球化知识库问答。