EmbeddingGemma 2 運営中

EmbeddingGemma 2は、Googleがオープンソースで公開するネイティブなマルチモーダルEmbeddingモデルです。Gemma 4アーキテクチャを基盤とし、テキスト、コード、画像、動画、音声を統一ベクトル空間にマッピングして、クロスモーダルなセマンティック検索を実現します。EmbeddingGemma 2はモジュール設計を採用しており、全モーダル対応でもパラメータ数はわずか740M、コンテキスト長は8Kトークンです。量子化後はスマートフォン上で約567MBのメモリしか使用しません。EmbeddingGemma 2は1B未満で最も強力なマルチモーダルベクトルモデルであり、コード検索性能は前世代から約10ポイント向上しています。エッジRAG、セマンティック検索、アルバム検索などに適しています。

クロスモーダルセマンティック検索：テキスト、コード、画像、動画、音声を同一のベクトル空間に統一的にマッピングし、任意のモダリティから他のモダリティを検索できます。
エッジでのローカル実行：全モーダル対応でもパラメータ数は740Mのみ。量子化後はPixel 11 Proで約567MBのメモリしか使用せず、インターネット接続なしでスマートフォンやノートパソコン上で推論できます。
ローカルRAGパイプライン：Gemma 4と同じトークナイザーおよび音声エンコーダーを共有するため、両者を組み合わせてローカルにマルチモーダル検索拡張生成システムを構築でき、データのプライバシーを保護できます。
セマンティックアルバム／メディア検索：Google AI Edge GalleryのInstant Media Searchでは、文字入力でスマートフォンのアルバム内の画像を検索したり、カメラで撮影した物体から類似写真を検索したりできます。
動画内の場面検索：Video Moments Finderはテキストまたは音声による検索に対応し、動画内で意味的に一致する場面を自動的にマークします。
リアルタイム意思決定エンジン：MediaPipe Decision Task APIを通じてリアルタイムの分類、ルーティング、予測を実行します。デモでは1回の意思決定にかかる時間がわずか43ミリ秒で、LLMの640ミリ秒を大幅に上回りました。

WeChatで「オープンソース」と返信すると、AIオープンソースプロジェクト交流グループに参加できます
統一マルチモーダル埋め込み空間：Gemini Embeddingシリーズの技術方針を踏襲し、異なるモダリティの入力を同一の高次元ベクトル空間にエンコードします。意味的に近いコンテンツはベクトル空間上でも近くなり、意味的に無関係なコンテンツは遠くなります。クロスモーダル検索は統一されたベクトル近傍探索の問題に単純化でき、モダリティごとに個別のモデルを維持する必要がありません。
モジュール式エンコーダー・デコーダーアーキテクチャ：Gemma 4アーキテクチャを基盤に、270Mパラメータのテキスト基盤モデル、170Mパラメータの視覚エンコーダー、300Mパラメータの音声エンコーダーの3部分で構成されています。視覚・音声モジュールは必要に応じてロードできるため、実際のデプロイではテキストのみ、テキスト＋画像（440M）、テキスト＋音声、全モーダルの4仕様を利用できます。テキストタスクでは視覚・音声モジュールのメモリコストがかかりません。
Gemma 4とのコンポーネント共有：EmbeddingGemma 2は生成モデルGemma 4と同じテキストトークナイザーおよび音声エンコーダーを共有します。両者を連結して統一されたエッジRAGパイプラインを構築でき、EmbeddingGemma 2がローカルのマルチモーダルファイルをエンコードして登録し、Gemma 4が検索後のコンテキスト推論を担当します。共有コンポーネントにより、組み合わせてデプロイする際の総メモリ使用量も削減できます。
Matryoshka表現学習と動的切り詰め：モデルはMRL学習を採用し、768次元のベクトルを出力します。推論時には512、256、128次元へ動的に切り詰めることができます。256次元に切り詰めても性能はほぼ損なわれず、ベクトルデータベースのストレージ容量を最大で元の6分の1まで削減できます。
5. 長いコンテキストと入力分割：モデルは8Kトークンのコンテキストウィンドウに対応しており、前世代の4倍です。1回で約5.5分の音声、29枚の画像、58フレームの動画、またはこれらを組み合わせたインターリーブ入力を処理できます。テキスト入力ではタスクプレフィックスにも対応し、同じテキストからタスクごとに異なるベクトル表現を生成できます。

モデルの重みをダウンロード：Hugging FaceまたはKaggleからgoogle/embeddinggemma-2のモデルファイルを取得します。エッジ向け最適化版が必要な場合は、LiteRT Communityのページを利用できます。
実行フレームワークを選択：transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LM Studioなどの主要ツールからモデルを直接ロードできます。
推論コードを記述：sentence-transformersを例にすると、モデルをロードした後、prompt_name="SearchQuery"と"Document"を使ってクエリとドキュメントをそれぞれエンコードし、similarity()を呼び出してベクトルの類似度を計算します。
検索システムを構築：生成したembeddingをベクトルデータベース（Qdrantなど）に保存すれば、セマンティック検索、コードベースのインデックス作成、マルチモーダル検索を実現できます。
エッジにデプロイ：モバイル端末ではGoogle AI Edge MediaPipeを使って埋め込み、検索、意思決定タスクを直接統合できます。LiteRTによるカスタム統合も可能です。ブラウザではtransformers.js / WebGPUで実行できます。
ローカルRAGを構築：Gemma 4と組み合わせ、EmbeddingGemma 2がローカルファイルの検索を担当し、Gemma 4がコンテキスト推論を担当します。共有コンポーネントにより、総メモリ使用量を削減できます。

ネイティブな全モーダル統合：単一モデルでテキスト、コード、画像、動画、音声の5種類のモダリティを同時に扱い、同一のベクトル空間にマッピングします。従来の「モダリティごとに1モデル」という組み合わせ方式に取って代わります。
圧倒的な軽量性でエッジ実行：全モーダル対応でもパラメータ数は740Mのみ。量子化後はPixel 11 Proで約567MBのメモリしか使用せず、スマートフォン上でオフラインのマルチモーダル推論を完了できます。
同サイズで最高クラスの性能：1Bパラメータ未満で最も強力なマルチモーダルEmbeddingモデルであり、一部のタスクではサイズが2倍以上ある専用モデルを上回ります。
コード性能が大幅に向上：コード検索スコアは前世代から約10ポイント向上しており、ローカルコードベースのインデックス作成やcoding agentの検索に適しています。
モジュールを必要に応じてロード：視覚・音声エンコーダーを個別に取り外せるため、テキストタスクでは270Mのみで実行でき、不要なモダリティのメモリコストを回避できます。
低いストレージコスト：Matryoshka表現学習により、768次元のベクトルを128次元まで切り詰められ、ベクトルデータベースのストレージ容量を最大で元の6分の1まで削減できます。
長いコンテキストに対応：8Kトークンのコンテキストウィンドウは前世代の4倍で、1回に約5.5分の音声または29枚の画像を処理できます。
Gemma 4との自然な連携：トークナイザーと音声エンコーダーを共有するため、両者でローカルRAGを構築する際の総メモリ使用量を抑えられます。

プロジェクト公式サイト：https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/
Hugging Faceモデルリポジトリ：https://huggingface.co/google/embeddinggemma-2
技術論文：https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2

エッジでのマルチモーダルセマンティック検索：スマートフォンのアルバムで文字または撮影した写真を使ってローカルメディアライブラリを検索できます。全行程がオフラインで完了し、プライバシーデータをアップロードしません。
動画コンテンツの検索と場面特定：監視映像、オンライン講座、会議録画などで、テキストまたは音声による検索から目的の場面（「ウミガメが餌を食べる」場面など）をすばやく特定でき、手作業でフレームを確認する必要がありません。
ローカルRAGナレッジベース：Gemma 4と組み合わせてオフラインRAGシステムを構築し、ローカルのドキュメント、画像、音声を統一的にインデックス化できます。企業イントラネットや機密環境など、クラウドに接続できない場面に適しています。
コードベースのセマンティックインデックスとAgent検索：ローカルコードベースのベクトルインデックスを作成し、coding agentのセマンティックコード検索を支援します。コード検索スコアは前世代から約10ポイント向上しています。