Beam 運営中

BeamはReflection AIが開発した初のオープンソース大規模言語モデルです。501BパラメータのスパースMoEアーキテクチャを採用し、各トークンで活性化されるのは23Bのみ。100万トークンのコンテキストに対応し、事前学習では23.8Tトークンを使用しています。Beamの学習プロセスは、まさに重工業級の計算能力を示すものです。事前学習は6,144枚のGB300で4週間未満で完了し、10,500枚のGB300を使って4週間にわたり、1億回を超えるrolloutによる大規模強化学習を実施しました。

プログラミング開発：ソフトウェアエンジニアリングのタスクでGLM-5.2と同等の水準に達し、企業のコーディング負荷に対応する主力モデルです。
Agent実行：ツール呼び出し、ターミナル操作、ウェブ検索などに対応し、複数ステップのタスクを自律的に完了できます。さらに、他の大規模モデルやOCR APIの呼び出しも習得しています。
長文処理：100万トークンのコンテキストに対応し、非常に長いコードベースや文書から重要な情報を特定して関連付けられます。
推論強度の調整：ユーザーはreasoning effortパラメータによって短い応答と長い推論を柔軟に切り替え、タスクや計算予算に合わせられます。

WeChatでフォローし、「开源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
スパースMoEアーキテクチャ：モデルの総パラメータ数は501Bですが、各回で活性化されるのは23Bのみ。細粒度のルーティングによる専門家と、補助損失に依存しない負荷分散によって、専門家の利用率をほぼ均一に保ちます。最も負荷の高い専門家でも負荷は1.04×にとどまり、Beamの効率的な推論を支えるハードウェアレベルの基盤となっています。
2段階の大規模学習：事前学習では6,144枚のGB300で4週間未満に23.8Tトークンを処理し、トポロジー認識スケジューラとサイレントデータ破損検出を組み合わせることで、goodputは92.3%に達しました。その後、10.5K枚のGB300で4週間の強化学習を行い、1億回を超えるrolloutを生成しました。この間、平均で11万件の同時rolloutと17万件の同時サンドボックスを維持しました。
完全非同期RLシステム：非同期policy gradientsを採用し、rolloutと学習を並行して実行します。各トークンに生成元のモデルバージョンを付与することで方策の陳腐化に対処し、サンプルが現在の方策より1日（107バージョン）遅れていても数値は安定しています。新しい重みはRoCEによる階層的な配信で推論クラスタに送られ、所要時間は中央値で12秒です。
長さを制御できる推論学習：RLに長さのペナルティ項を加え、モデルがまず少ないトークンで問題を解くことを学習し、その後agentic能力の向上に伴って推論長を自然に拡張します。能力とトークン消費の最適なバランスを形成し、ユーザーが必要に応じて調整できます。

現時点では重みは公開されておらず、一部のユーザーにのみプレビュー版が提供されています。https://platform.reflection.ai/ にアクセスして早期体験を申請できます。

非常に高い推論効率：GLM-5.2の3–4分の1の推論計算量で同等の推論水準を実現し、Qwen 3.8-Maxなどの2T+モデルよりも多くのコストを削減できます。高いインテリジェンス密度が特徴です。
極めて少ない活性化パラメータ：総パラメータ501Bのうち、各トークンで活性化されるのは23Bのみ。スパースMoE設計により、導入・推論コストを大幅に抑えます。
業界でもまれなRL規模：10.5K枚のGB300を4週間連続で使用し、1億回を超えるrolloutを実施。オープンな研究所におけるこれまでで最大規模のRL学習の一つです。
高い学習安定性：事前学習全体で半自動ロールバックはわずか9回、goodputは92.3%に達し、学習曲線も不安定化しませんでした。非常に高いエンジニアリング成熟度を備えています。
推論長の制御：ユーザーはreasoning effortパラメータで推論の深さを自由に調整し、性能とコストを必要に応じてバランスできます。

プロジェクト公式サイト：https://reflection.ai/blog/introducing-beam

企業向けプライベートコーディングアシスタント：企業は完全なセルフホスティングによって、低コストでデータを社内ネットワークの外に出さないAIコーディングアシスタントを構築できます。
コードベース全体のリファクタリングと監査：100万トークンのコンテキストウィンドウにより、Beamは中規模のコードベース全体を一度に読み込み、ファイル間の依存関係を理解しながら、大規模なリファクタリングやセキュリティ監査を実行できます。
自動化Agentワークフロー：1億回を超えるrolloutによる強化学習で、ツール呼び出し、ターミナル操作、ウェブ検索の能力を獲得しています。データ分析や運用監視など、長い連続処理を伴う複数ステップのタスクを実行できます。
政府・企業向け主権AI導入：米国のチームが開発したオープンウェイトモデルとして、Beamは監査可能で分離導入にも対応します。政府、エネルギー、軍需産業が中国以外のサプライチェーンに属するモデルを調達する際のコンプライアンス要件に適合します。