EmbeddingGemma 2 운영 중

EmbeddingGemma 2는 Google이 오픈 소스로 공개한 네이티브 멀티모달 임베딩 모델로, Gemma 4 아키텍처를 기반으로 텍스트, 코드, 이미지, 동영상, 오디오를 통합 벡터 공간에 매핑하여 모달리티 간 의미 검색을 구현합니다. EmbeddingGemma 2는 모듈식으로 설계되었으며, 모든 모달리티를 지원하면서도 매개변수가 740M에 불과하고 컨텍스트 길이는 8K 토큰입니다. 양자화 후에는 휴대전화에서 약 567MB의 메모리만 차지합니다. EmbeddingGemma 2는 1B 미만 규모에서 가장 강력한 멀티모달 벡터 모델로, 코드 검색 성능이 이전 세대보다 약 10점 향상되었으며 온디바이스 RAG, 의미 검색, 사진 앨범 검색 등의 시나리오에 적합합니다.

모달리티 간 의미 검색: 텍스트, 코드, 이미지, 동영상, 오디오를 동일한 벡터 공간에 통합 매핑하여 어떤 모달리티로도 다른 모달리티를 검색할 수 있습니다.
온디바이스 로컬 실행: 전체 모달리티의 매개변수가 740M에 불과하며, 양자화 후 Pixel 11 Pro에서 약 567MB의 메모리만 사용합니다. 인터넷 연결 없이도 휴대전화와 노트북에서 추론을 수행할 수 있습니다.
로컬 RAG 파이프라인: Gemma 4와 토크나이저 및 오디오 인코더를 공유하므로, 두 모델을 조합해 로컬에서 멀티모달 검색 증강 생성 시스템을 구축하고 데이터 개인정보를 보호할 수 있습니다.
의미 기반 사진 앨범 및 미디어 검색: Google AI Edge Gallery의 Instant Media Search에서는 텍스트로 휴대전화 사진 앨범의 이미지를 검색하거나, 카메라로 촬영한 물체를 사용해 유사한 사진을 검색할 수 있습니다.
동영상 장면 위치 지정: Video Moments Finder는 텍스트 또는 오디오 쿼리를 사용해 동영상에서 의미적으로 일치하는 장면을 자동으로 표시합니다.
실시간 의사결정 엔진: MediaPipe Decision Task API를 통해 실시간 분류, 라우팅 및 예측을 수행합니다. 시연에서는 한 번의 의사결정에 43밀리초만 소요되어 LLM의 640밀리초보다 훨씬 빨랐습니다.

WeChat에서 “开源”에 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 참여
통합 멀티모달 임베딩 공간: Gemini Embedding 시리즈의 기술 경로를 이어받아 서로 다른 모달리티의 입력을 동일한 고차원 벡터 공간에 인코딩합니다. 이를 통해 의미가 가까운 콘텐츠는 벡터 공간에서 서로 가까워지고, 의미적으로 관련이 없는 콘텐츠는 멀어집니다. 모달리티 간 검색은 통합 벡터 최근접 검색 문제로 단순화할 수 있어 각 모달리티마다 별도의 모델을 유지할 필요가 없습니다.
모듈식 인코더 및 디코더 아키텍처: Gemma 4 아키텍처를 기반으로 270M 매개변수의 텍스트 백본, 170M 매개변수의 비전 인코더, 300M 매개변수의 오디오 인코더 등 세 부분을 조합해 구성됩니다. 비전 및 오디오 모듈은 필요에 따라 로드할 수 있으므로 실제 배포에서는 순수 텍스트, 텍스트+이미지(440M), 텍스트+오디오, 전체 모달리티의 네 가지 사양을 제공합니다. 텍스트 작업에서는 비전 및 오디오 모듈에 메모리를 할당할 필요가 없습니다.
Gemma 4와 구성 요소 공유: EmbeddingGemma 2는 생성 모델 Gemma 4와 동일한 텍스트 토크나이저 및 오디오 인코더를 공유합니다. 두 모델을 연결해 통합 온디바이스 RAG 파이프라인을 구성할 수 있으며, EmbeddingGemma 2는 로컬 멀티모달 파일을 인코딩해 저장하고 Gemma 4는 검색된 컨텍스트를 추론합니다. 또한 공유 구성 요소를 통해 결합 배포 시 총 메모리 사용량을 줄일 수 있습니다.
Matryoshka 표현 학습 및 동적 절단: 모델은 MRL 학습을 적용해 768차원 벡터를 출력하며, 추론 시 512, 256 또는 128차원으로 동적으로 절단할 수 있습니다. 256차원으로 절단해도 성능 손실이 거의 없으며, 벡터 데이터베이스 저장 공간을 최대 원래의 6분의 1까지 줄일 수 있습니다.
5. 긴 컨텍스트 및 긴 입력 분할: 모델은 이전 세대의 4배인 8K 토큰 컨텍스트 창을 지원하며, 한 번에 약 5.5분의 오디오, 29장의 이미지, 58프레임의 동영상 또는 이 콘텐츠를 교차 조합한 입력을 처리할 수 있습니다. 텍스트 입력은 작업 접두사도 지원하므로 동일한 텍스트에 대해 작업별로 서로 다른 벡터 표현을 생성할 수 있습니다.

모델 가중치 다운로드: Hugging Face 또는 Kaggle에서 google/embeddinggemma-2 모델 파일을 가져옵니다. 온디바이스 최적화 버전이 필요하면 LiteRT Community 페이지를 이용할 수 있습니다.
실행 프레임워크 선택: transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama, LM Studio 등 주요 도구를 통해 모델을 직접 로드할 수 있습니다.
추론 코드 작성: sentence-transformers를 예로 들면, 모델을 로드한 후 prompt_name="SearchQuery"와 "Document"를 각각 사용해 쿼리와 문서를 인코딩하고 similarity()를 호출해 벡터 유사도를 계산합니다.
검색 시스템 구축: 생성된 임베딩을 벡터 데이터베이스(예: Qdrant)에 저장하면 의미 검색, 코드베이스 인덱싱 또는 멀티모달 검색을 구현할 수 있습니다.
온디바이스 배포: 모바일에서는 Google AI Edge MediaPipe를 사용해 임베딩, 검색 및 의사결정 작업을 직접 연결하거나 LiteRT로 맞춤 통합할 수 있습니다. 브라우저에서는 transformers.js / WebGPU를 통해 실행합니다.
로컬 RAG 구축: Gemma 4와 함께 사용하면 EmbeddingGemma 2는 로컬 파일 검색을 담당하고 Gemma 4는 컨텍스트 추론을 담당합니다. 두 모델이 구성 요소를 공유하므로 총 메모리 사용량을 줄일 수 있습니다.

네이티브 전체 모달리티 통합: 하나의 모델로 텍스트, 코드, 이미지, 동영상, 오디오 등 다섯 가지 모달리티를 동시에 지원하고 동일한 벡터 공간에 매핑하여, 기존의 ‘모달리티별 모델 하나’ 조합 방식을 대체합니다.
초경량 온디바이스 실행: 전체 모달리티의 매개변수가 740M에 불과하며, 양자화 후 Pixel 11 Pro에서 약 567MB의 메모리만 사용하므로 휴대전화에서 오프라인 멀티모달 추론을 수행할 수 있습니다.
동급 규모에서 최고 성능: 1B 미만 매개변수 규모에서 가장 강력한 멀티모달 임베딩 모델로, 일부 작업에서는 크기가 두 배 이상인 전용 모델을 능가합니다.
대폭 향상된 코드 성능: 코드 검색 점수가 이전 세대보다 약 10점 향상되어 로컬 코드베이스 인덱싱과 코딩 에이전트 검색에 매우 적합합니다.
모듈식 필요에 따른 로드: 비전 및 오디오 인코더를 독립적으로 분리할 수 있어 텍스트 작업에는 270M만 사용하며, 필요하지 않은 모달리티에 메모리를 할당하지 않아도 됩니다.
낮은 저장 비용: Matryoshka 표현 학습을 기반으로 768차원 벡터를 128차원까지 절단할 수 있어 벡터 데이터베이스 저장 공간을 최대 원래의 6분의 1까지 줄일 수 있습니다.
긴 컨텍스트 지원: 8K 토큰 컨텍스트 창은 이전 세대의 4배이며, 한 번에 약 5.5분의 오디오 또는 29장의 이미지를 처리할 수 있습니다.
Gemma 4와의 자연스러운 협업: 토크나이저와 오디오 인코더를 공유하므로 두 모델을 조합해 로컬 RAG를 구축할 때 총 메모리 사용량이 더 적습니다.

프로젝트 공식 웹사이트：https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/
Hugging Face 모델 저장소：https://huggingface.co/google/embeddinggemma-2
기술 논문：https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2

온디바이스 멀티모달 의미 검색: 휴대전화 사진 앨범에서 텍스트나 직접 촬영한 사진으로 로컬 미디어 라이브러리를 검색하며, 전체 과정이 오프라인으로 수행되어 개인정보를 업로드하지 않습니다.
동영상 콘텐츠 검색 및 장면 위치 지정: 감시 영상, 온라인 강의 또는 회의 녹화에서 텍스트나 오디오로 쿼리하여 목표 장면(예: “거북이가 먹이를 먹는 장면”)을 빠르게 찾을 수 있어 수동으로 프레임을 일일이 확인할 필요가 없습니다.
로컬 RAG 지식베이스: Gemma 4와 함께 오프라인 RAG 시스템을 구축해 로컬 문서, 이미지, 오디오를 통합 인덱싱할 수 있으며, 기업 내부망이나 기밀 환경처럼 클라우드에 업로드할 수 없는 시나리오에 적합합니다.
코드베이스 의미 인덱싱 및 에이전트 검색: 로컬 코드베이스에 벡터 인덱스를 구축해 코딩 에이전트의 의미 기반 코드 검색을 지원하며, 코드 검색 점수가 이전 세대보다 약 10점 향상되었습니다.