SenseNova Loop-9B-Preview 運営中

SenseNova Loop-9B-Previewは、商湯がオープンソースで公開する9Bパラメータ規模のマルチモーダルプレビューモデルです。SenseNova Loop-9B-Previewは、元のデコーダーの先頭と末尾それぞれ4層を保持し、中間層をパラメータ共有型の反復計算モジュールに置き換え、複数回の反復によって実効的な計算深度を拡張し、mHCメカニズムを導入して特徴量の相互作用の安定性を高めています。公式評価では、オフィス業務およびエージェントタスクにおいてQwen3.5-27Bを上回る性能を示し、少ないパラメータで大規模モデル級の複雑なタスク能力を実現しています。重みはGitHubとHugging Faceで公開されています。

コード生成：コード作成タスクで同規模モデルのトップクラスの性能を達成し、開発用途を支援します。
オフィスコンテンツ生成：小浣熊クライアントと連携し、PPTデザインや長文書などの業務成果物を生成できます。
エージェントタスク：AutomationBenchなどの複数ステップのAgent評価で優れた性能を示し、物語性とインタラクションを含む複雑な長い処理フローを完了できます。
長文脈処理：長文脈とエージェントワークフロー向けの循環型マルチモーダルモデルとして位置付けられています。
オープンソースと商用利用の検討：重みと推論コードがGitHub、Hugging Faceで公開され、コミュニティの研究や日常的な利用に提供されています。

WeChatでフォローし、「開源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
Looped Transformer循環アーキテクチャ：モデルは9B規模を基盤とし、元のデコーダーモジュールの先頭と末尾それぞれ4層を保持しながら、中間層をパラメータ共有型の循環計算モジュールに置き換えています。同じ重みを複数回の反復で再利用することで、パラメータ規模を変えずに実効的な計算深度を拡張し、小規模モデルにより深いネットワークに近い推論能力を与えます。
mHC特徴量相互作用メカニズム：複数回の循環における情報伝達を改善するため、Manifold-Constrained Hyper-Connections（mHC）を導入しています。複数経路の残差双流と「二重確率」に制約された混合行列によって特徴量を混合し、層間の特徴量相互作用を強化すると同時に情報多様体を制約し、信号伝播の安定性を維持します。アブレーション実験では、このメカニズムによりGPQA Diamondが4.42ポイント、TeamBenchが13.34ポイント向上しました。
パラメータ共有と効率設計：中間循環層の重み共有により、約9Bパラメータで9Bの密モデルを大幅に上回る計算深度を実現します。TBKなどの技術で1回あたりの計算コストを抑え、推論コストを制御しながら、複雑なタスクにおける27B級モデルの性能に近づけることを目指しています。

環境準備：CUDAに対応するPyTorchをインストールし、続いて pip install "transformers==5.18.0" accelerate safetensors を実行します。
モデルの取得：Hugging Faceから sensenova/SenseNova-Loop-9B-Preview の重みをローカルにダウンロードし、ディレクトリに設定ファイル、tokenizer、chatテンプレート、カスタムモデルコードが含まれていることを確認します。
モデルの読み込み：コード内で trust_remote_code=True、dtype=torch.bfloat16 を指定し、AutoModelForCausalLM.from_pretrainedでモデルを読み込み、.eval()を実行します。
入力の構築：tokenizer.apply_chat_templateで会話promptを組み立て、深い推論が必要な場合は enable_thinking=True を設定します。
推論生成：model.generateを呼び出してテキストを生成します。use_cacheによる高速化に対応し、MTP高速化も利用できます。
サービスとしてのデプロイ：本番環境ではLightLLMまたはSGLangを使ってAPIを提供できます。

高いパラメータ効率：約9Bパラメータで、共有重みの循環により56層相当の実行深度をシミュレートし、低コストで27B級モデルに近い性能を実現します。
革新的なアーキテクチャ：Looped Transformer + 双流mHCを採用し、制約付きの複数経路残差混合によって情報相互作用を強化し、信号伝播を安定させます。国内初期の9B級実用オープンソース事例の一つです。
長文脈能力：最大262,144tokenのコンテキストをサポートする訓練に対応し、文書理解と長い処理フローに適しています。
マルチモーダル入力：テキストと画像の入力をサポートし、長文脈とエージェントワークフロー向けのマルチモーダルモデルとして位置付けられています。
推論高速化への対応：MTP高速化メカニズムを内蔵し、すでに利用可能です。Dspark、Dflash2などの投機的デコード方式は開発中です。

GitHubリポジトリ：https://github.com/OpenSenseNova/SenseNova-Loop
Hugging Faceモデルリポジトリ：https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

長文書の理解と分析：256Kの超長文脈を活用し、契約書、財務報告書、論文集など大容量の文書全体を一度に処理して、構造化された要約や質疑応答を生成できます。
エージェント（Agent）ワークフロー：複数ステップのツール呼び出し、ウェブ操作、タスク計画のシナリオで優れた性能を示し、オフィス業務の自動化やプロセス実行向けAgentの構築に適しています。
オフィスコンテンツ生成：小浣熊クライアントと連携して、PPTデザイン、データ分析レポート、アニメーション付きのプレゼンテーションページを直接生成でき、日常業務の成果物作成を幅広くカバーします。
コード開発支援：コード生成能力は同規模モデルのトップクラスに達しており、コード補完、スクリプト作成、小規模プロジェクトのエンドツーエンド開発を担えます。
マルチモーダルコンテンツ制作：テキストと画像の入力をサポートし、テキストと画像を組み合わせた旅行特集、マーケティングページ、物語性のあるウェブサイトなど、リッチメディアコンテンツの生成に適しています。