ERNIE 5.5 Flash Base 운영 중

ERNIE 5.5 Flash Base는 바이두가 오픈 소스로 공개한 최신 기반 모델로, 희소 MoE 아키텍처를 채택했습니다. 총 매개변수는 2,800억 개이며 토큰당 140억 개가 활성화되고, 33.5조 개 토큰으로 사전 학습되었으며 100만 토큰 컨텍스트를 지원합니다. ERNIE 5.5 Flash Base는 효율성 혁신을 핵심으로 하며, 희소 어텐션으로 긴 문서 처리 비용을 낮추고, 다중 라우터 MoE로 라우팅을 최적화하며, ECHO를 통해 백본 마지막 계층의 예측을 재사용해 후속 토큰을 예측합니다. 공식 발표에 따르면 여러 벤치마크에서 동일 규모 모델 중 SOTA를 달성했으며, HuggingFace에 공개되었습니다.

고성능 텍스트 기반 모델: 총 2,800억 개 매개변수의 희소 MoE와 토큰당 140억 개의 활성 매개변수로, 동일 규모 모델 중 SOTA 수준의 범용 텍스트 능력을 제공합니다.
초장문 컨텍스트: 사전 학습 컨텍스트는 128K이며, 미세 조정과 추론에서는 최대 100만 토큰을 지원합니다.
전 영역 역량: 지식, 추론, 수학, 코드, 다국어, 장문 컨텍스트 등의 벤치마크에서 동일 규모 모델 중 최고 성능을 달성했습니다.
오픈 소스 및 사용자 정의: FP8과 BF16 두 가지 버전의 가중치가 HuggingFace에 공개되어 개발자와 기업이 미세 조정을 통해 전문 모델을 구축할 수 있습니다.
완성도 높은 추론 생태계: 공식 vLLM 플러그인, SGLang Cookbook, Megatron-Bridge 미세 조정 예제를 제공합니다.

WeChat에서 팔로우한 후 “开源”에 답장하여 AI 오픈 소스 프로젝트交流群에 가입하세요
Latent-Gated Sparse Attention: 고도로 압축된 어텐션(HCA)과 다중 헤드 잠재 어텐션(MLA)을 역할 분담형 아키텍처로 결합합니다. 37개 계층은 128배 압축된 시퀀스에서 과거 정보를 처리하고, 6개 계층만 세밀한 검색을 담당하여 장문 컨텍스트 KV Cache 비용을 크게 줄입니다. 저랭크 게이트 어텐션은 어텐션 계층 자체가 생성한 저랭크 query latent를 재사용해 출력 게이트를 계산하며, 게이팅 프로젝션 매개변수 수를 75% 줄이는 동시에 성능을 향상합니다. 가상 헤드 어텐션(VHA)은 학습 시 표현력을 높이고 추론 시 어텐션 연산자에 통합되어 추가 비용이 매우 적습니다.
Multi-Router Latent MoE: 여러 독립 라우터가 함께 전문가 선택에 참여하여 라우팅 점수와 전문가의 실제 효용 간 상관관계를 개선합니다. 이를 통해 단일 점수의 편향이 경로 선택에 미치는 영향을 줄이면서 활성 전문가 수, 전문가 연산량, 통신량은 모두 그대로 유지합니다.
ECHO 학습 목표: 별도의 MTP 모듈을 추가하지 않고 백본의 마지막 계층을 재사용하여 모델이 스스로 후속 토큰을 예측하도록 합니다. 이를 통해 시퀀스의 진행 방향을 미리 계획하고 추론 및 코드 능력을 향상합니다. 재사용 계층은 투기적 디코딩의 초안 모델로 직접 사용할 수 있으며, 한 단계 학습만으로 여러 단계 외삽 능력을 나타냅니다. 초안 품질은 보조 MTP 모듈보다 크게 우수합니다.
학습 시스템 최적화: 분산 Muon 옵티마이저는 Dense 및 MoE 매개변수의 노드 간 통신을 한 번의 집합 통신으로 통합하고, FP8 혼합 정밀도와 함께 대규모 학습 효율을 높입니다. 자체 개발한 FlashMask-4 어텐션 연산자는 CuTe-DSL을 기반으로 하며 SM90/SM100 아키텍처와 최대 576차원 head dim을 지원해 HCA 계층의 넓은 헤드 연산에 직접 대응합니다.

하드웨어 환경 준비: 모델의 총 매개변수는 2,800억 개이며 FP8 양자화 가중치도 약 280GB이므로, 다중 고급 GPU(H 시리즈 등 SM90/SM100 아키텍처)를 탑재한 서버가 필요합니다. 단일 GPU로는 처리할 수 없습니다.
모델 가중치 다운로드: HuggingFace에서 공식 저장소를 가져온 후 필요에 따라 FP8 버전(baidu/ERNIE-5.5-Flash-Base) 또는 BF16 버전을 선택합니다. 명령 예시는 huggingface-cli download baidu/ERNIE-5.5-Flash-Base --local-dir ./ernie-base입니다.
추론 프레임워크 설치: 바이두 공식 vLLM 플러그인(baidu/vLLM-ERNIE)을 배포하여 희소 어텐션 아키텍처에 맞추거나, 공식 SGLang Cookbook을 사용합니다.
추론 서비스 시작: vllm serve를 실행해 로컬 가중치 경로를 지정하고, GPU 수에 따라 --tensor-parallel-size를 설정한 뒤 --enable-expert-parallel을 활성화합니다. 서비스가 시작되면 OpenAI 호환 인터페이스가 제공됩니다.
호출 실행: 표준 OpenAI API 형식으로 로컬 포트에 요청을 보내며, 최대 100만 토큰 컨텍스트를 구성할 수 있습니다(메모리 용량에 따라 --max-model-len 조정).
미세 조정 및 사용자 정의: 공식 Megatron-Bridge 예제를 기반으로 도메인 추가 사전 학습 또는 SFT를 수행합니다.

탁월한 추론 효율: 총 2,800억 개 매개변수의 희소 MoE 아키텍처에서 토큰당 140억 개의 매개변수만 활성화하여, 매우 낮은 연산 비용으로 초대형 모델의 용량을 활용합니다.
초장문 컨텍스트 능력: 사전 학습 컨텍스트는 128K이며, 미세 조정과 추론에서는 최대 100만 토큰을 지원해 장문 처리에 필요한 리소스 비용을 크게 줄입니다.
동일 규모 최고 성능: 공식 평가에서 지식, 추론, 수학, 코드, 다국어, 장문 컨텍스트 등 30개 벤치마크에서 동일 규모 모델 중 SOTA를 달성했습니다.
체계적인 효율성 혁신: Latent-Gated 희소 어텐션, 다중 라우터 MoE, ECHO 학습 목표를 통해 어텐션, 라우팅, 학습 목표의 세 단계에서 협력적으로 최적화합니다.
탄탄한 엔지니어링 기반: 분산 Muon 옵티마이저, FP8 혼합 정밀도, 자체 개발 FlashMask-4 연산자가 대규모 학습과 추론 효율을 보장합니다.

프로젝트 공식 사이트：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
HuggingFace 모델 저장소：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

장문 문서 심층 처리: 최대 100만 토큰 컨텍스트를 활용해 법률 계약서 전체, 재무 보고서, 논문 모음 또는 코드 저장소를 한 번에 처리하고, 전체 문서 요약, 장 간 질의응답, 정보 추출을 수행할 수 있습니다.
코드 개발 지원: 뛰어난 코드 능력과 초장문 컨텍스트를 바탕으로 전체 저장소 구조를 이해하고 코드 생성, 리팩터링 제안, 파일 간 결함 분석을 수행할 수 있습니다.
도메인 모델 사용자 정의: 후속 학습을 거치지 않은 오픈 소스 기반 모델로서, 기업은 자체 산업 데이터를 기반으로 미세 조정하여 법률, 금융, 의료 등 전문 분야 모델을 구축할 수 있습니다.
다국어 콘텐츠 처리: 다국어 능력이 동일 규모 모델 중 SOTA 수준이므로 다국어 문서 번역, 국제화 콘텐츠 검토, 글로벌 지식베이스 질의응답에 적합합니다.