文心5.5 Flash Base 運営中

文心5.5 Flash Baseは、百度がオープンソース化した最新の基盤モデルです。疎MoEアーキテクチャを採用し、総パラメータ数は2,800億、トークンごとのアクティブ化パラメータ数は140億、33.5兆トークンで事前学習され、100万トークンのコンテキストに対応します。文心5.5 Flash Baseは効率性の革新を重視しており、疎なアテンションによって長文処理のコストを削減し、マルチルーターMoEによってルーティングを最適化します。また、ECHOによりバックボーン最終層の予測を再利用して後続トークンを予測します。公式発表では、複数のベンチマークで同規模モデルのSOTAを達成しており、HuggingFaceで公開されています。

高性能テキスト基盤：総パラメータ数2,800億の疎MoEで、トークンごとのアクティブ化数は140億に抑えられ、同規模モデルのSOTAに相当する汎用テキスト能力を提供します。
超長文コンテキスト：事前学習時のコンテキストは128Kで、ファインチューニングと推論では最長100万トークンに対応します。
幅広い能力：知識、推論、数学、コード、多言語、長文コンテキストなどのベンチマークで、同規模モデルの最高水準を達成しています。
オープンソースでカスタマイズ可能：FP8とBF16の2種類の重みがHuggingFaceで公開され、開発者や企業がファインチューニングして専門モデルを構築できます。
充実した推論エコシステム：公式のvLLMプラグイン、SGLang Cookbook、Megatron-Bridgeファインチューニング例が提供されています。

WeChatでフォローして「开源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます
Latent-Gated Sparse Attention：重度圧縮アテンション（HCA）とマルチヘッド潜在アテンション（MLA）を組み合わせた分業型アーキテクチャです。37層が128倍に圧縮された系列上で履歴情報を処理し、わずか6層が細粒度検索を担当することで、長文コンテキストにおけるKV Cacheのコストを大幅に削減します。低ランクゲートアテンションでは、アテンション層自身が生成した低ランクquery latentを再利用して出力ゲートを計算し、ゲート投影のパラメータ数を75%削減しながら性能を向上させます。仮想ヘッドアテンション（VHA）は学習時に表現力を高め、推論時にはアテンション演算子に融合されるため、追加コストはごくわずかです。
Multi-Router Latent MoE：複数の独立したルーターが共同で専門家の選択に参加し、ルーティングスコアと専門家の実際の有用性の相関を改善します。単一スコアの偏りが経路選択に与える影響を抑えながら、アクティブな専門家数、専門家の計算量、通信量をいずれも変えません。
ECHO学習目標：MTPモジュールを追加するのではなく、バックボーンの最終層を再利用して、モデル自身に後続トークンの予測を学習させます。これにより系列の進行方向を事前に計画し、推論能力とコード能力を向上させます。再利用層は投機的デコードのドラフトモデルとして直接利用でき、1ステップの学習だけで複数ステップの外挿能力を示します。ドラフト品質は補助的なMTPモジュールを大幅に上回ります。
学習システムの最適化：分散Muonオプティマイザーにより、DenseパラメータとMoEパラメータのノード間通信を1回の集合通信に統合し、FP8混合精度と組み合わせて大規模学習の効率を高めます。独自開発のFlashMask-4アテンション演算子はCuTe-DSLをベースとし、SM90/SM100アーキテクチャと最大576次元のhead dimに対応し、HCA層の幅広いヘッド計算に直接適用できます。

ハードウェア環境を準備：モデルの総パラメータ数は2,800億で、FP8量子化重みでも約280GBあります。HシリーズなどSM90/SM100アーキテクチャの高性能GPUを複数搭載したサーバーを用意する必要があり、1枚のGPUでは対応できません。
モデルの重みをダウンロード：HuggingFaceから公式リポジトリを取得し、必要に応じてFP8版（baidu/ERNIE-5.5-Flash-Base）またはBF16版を選択します。コマンド例：huggingface-cli download baidu/ERNIE-5.5-Flash-Base --local-dir ./ernie-base
推論フレームワークをインストール：百度公式のvLLMプラグイン（baidu/vLLM-ERNIE）を導入して疎アテンションアーキテクチャに対応させるか、公式のSGLang Cookbookを使用します。
推論サービスを起動：vllm serveでローカルの重みのパスを指定し、GPU数に応じて --tensor-parallel-size を設定するとともに、--enable-expert-parallel を有効にします。サービス起動後、OpenAI互換インターフェースが公開されます。
呼び出しを実行：標準のOpenAI API形式でローカルポートにリクエストを送信します。最長100万トークンのコンテキストを設定できます（GPUメモリに応じて --max-model-len を調整）。
ファインチューニングとカスタマイズ：公式のMegatron-Bridge例を基に、ドメイン継続事前学習またはSFTを実行します。

圧倒的な推論効率：総パラメータ数2,800億の疎MoEアーキテクチャで、トークンごとのアクティブ化数は140億に抑えられ、非常に低い計算コストで大規模モデルの容量を実現します。
超長文コンテキスト：事前学習時のコンテキストは128Kで、ファインチューニングと推論では最長100万トークンに対応し、長文処理のリソースコストを大幅に削減します。
同規模モデルで最高水準の性能：公式評価では、知識、推論、数学、コード、多言語、長文コンテキストなど30項目のベンチマークで、同規模モデルのSOTAを達成しています。
体系的な効率性の革新：Latent-Gated疎アテンション、マルチルーターMoE、ECHO学習目標により、アテンション、ルーティング、学習目標の3つの側面を連携して最適化します。
充実したエンジニアリング基盤：分散Muonオプティマイザー、FP8混合精度、独自のFlashMask-4演算子により、大規模な学習と推論の効率を支えます。

プロジェクト公式サイト：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
HuggingFaceモデルリポジトリ：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

長文書の深層処理：最長100万トークンのコンテキストに対応するため、法律契約書、財務報告書、論文集、コードリポジトリ全体を一度に処理し、全文要約、章をまたぐ質問応答、情報抽出を実行できます。
コード開発支援：優れたコード能力と超長文コンテキストを活用し、リポジトリ全体の構造を理解したうえで、コード生成、リファクタリングの提案、ファイル横断の不具合分析を行えます。
ドメインモデルのカスタマイズ：追加の事後学習を行っていないオープンソース基盤モデルとして、企業は自社業界のコーパスを用いてファインチューニングし、法律、金融、医療などの専門モデルを構築できます。
多言語コンテンツ処理：多言語能力は同規模モデルのSOTAに達しており、多言語文書の翻訳、グローバルコンテンツの審査、グローバル知識ベースの質問応答に適しています。