EmbeddingGemma 2 Đang hoạt động

EmbeddingGemma 2 là mô hình Embedding đa phương thức gốc do Google phát hành mã nguồn mở, dựa trên kiến trúc Gemma 4, ánh xạ văn bản, mã nguồn, hình ảnh, video và âm thanh vào cùng một không gian vector để thực hiện truy xuất ngữ nghĩa xuyên phương thức. EmbeddingGemma 2 có thiết kế mô-đun, toàn bộ đa phương thức chỉ có 740M tham số, ngữ cảnh 8K token; sau khi lượng tử hóa, mô hình chỉ chiếm khoảng 567MB bộ nhớ trên điện thoại. EmbeddingGemma 2 là mô hình vector đa phương thức mạnh nhất dưới 1B tham số, điểm truy xuất mã nguồn tăng gần 10 điểm so với thế hệ trước, phù hợp với các kịch bản RAG trên thiết bị, tìm kiếm ngữ nghĩa và truy xuất trong thư viện ảnh.

Truy xuất ngữ nghĩa xuyên phương thức: ánh xạ thống nhất văn bản, mã nguồn, hình ảnh, video và âm thanh vào cùng một không gian vector, cho phép dùng bất kỳ phương thức nào để truy xuất các phương thức khác.
Chạy cục bộ trên thiết bị: toàn bộ đa phương thức chỉ có 740M tham số; sau khi lượng tử hóa, mô hình chỉ chiếm khoảng 567MB bộ nhớ trên Pixel 11 Pro, có thể suy luận trên điện thoại và máy tính xách tay mà không cần kết nối mạng.
Đường ống RAG cục bộ: dùng chung tokenizer và bộ mã hóa âm thanh với Gemma 4; khi kết hợp, hai mô hình có thể xây dựng hệ thống tạo sinh tăng cường truy xuất đa phương thức cục bộ, bảo đảm quyền riêng tư dữ liệu.
Tìm kiếm ngữ nghĩa trong thư viện ảnh/phương tiện: trong Instant Media Search của Google AI Edge Gallery, người dùng có thể nhập văn bản để tìm hình ảnh trong thư viện ảnh điện thoại hoặc dùng camera chụp vật thể để tìm ảnh tương tự.
Định vị khoảnh khắc trong video: Video Moments Finder hỗ trợ truy vấn bằng văn bản hoặc âm thanh, tự động đánh dấu các đoạn hình ảnh phù hợp về ngữ nghĩa trong video.
Công cụ ra quyết định theo thời gian thực: thông qua MediaPipe Decision Task API để phân loại, định tuyến và dự đoán theo thời gian thực; trong bản trình diễn, mỗi lần quyết định chỉ mất 43 mili giây, nhanh hơn nhiều so với 640 mili giây của LLM.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Không gian embedding đa phương thức thống nhất: mô hình kế thừa hướng tiếp cận kỹ thuật của dòng Gemini Embedding, mã hóa đầu vào thuộc các phương thức khác nhau vào cùng một không gian vector nhiều chiều, khiến nội dung gần nhau về ngữ nghĩa có khoảng cách gần trong không gian vector, còn nội dung không liên quan có khoảng cách xa hơn. Truy xuất xuyên phương thức có thể được đơn giản hóa thành bài toán tìm kiếm láng giềng gần trong vector thống nhất, không cần duy trì mô hình riêng cho từng phương thức.
Kiến trúc bộ mã hóa/giải mã mô-đun: mô hình được xây dựng trên kiến trúc Gemma 4, ghép từ ba phần: backbone văn bản 270M tham số, bộ mã hóa hình ảnh 170M tham số và bộ mã hóa âm thanh 300M tham số. Các mô-đun hình ảnh và âm thanh có thể tải theo nhu cầu, vì vậy khi triển khai thực tế có bốn cấu hình: chỉ văn bản, văn bản+hình ảnh (440M), văn bản+âm thanh và toàn bộ đa phương thức. Tác vụ văn bản không cần chịu chi phí bộ nhớ cho các mô-đun hình ảnh và âm thanh.
Dùng chung thành phần với Gemma 4: EmbeddingGemma 2 dùng chung tokenizer văn bản và bộ mã hóa âm thanh với mô hình sinh Gemma 4. Hai mô hình có thể nối thành một đường ống RAG thống nhất trên thiết bị: EmbeddingGemma 2 chịu trách nhiệm mã hóa và lập chỉ mục các tệp đa phương thức cục bộ, còn Gemma 4 suy luận ngữ cảnh sau truy xuất. Các thành phần dùng chung cũng làm giảm tổng mức sử dụng bộ nhớ khi triển khai kết hợp.
Học biểu diễn Matryoshka và cắt động: mô hình áp dụng huấn luyện MRL, xuất vector 768 chiều và hỗ trợ cắt động xuống 512, 256 hoặc 128 chiều khi suy luận. Khi cắt xuống 256 chiều, hiệu năng gần như không suy giảm; dung lượng lưu trữ kho vector có thể giảm tối đa còn một phần sáu ban đầu.
5. Ngữ cảnh dài và chia nhỏ đầu vào dài: mô hình hỗ trợ cửa sổ ngữ cảnh 8K token, gấp 4 lần thế hệ trước, mỗi lần có thể xử lý khoảng 5.5 phút âm thanh, 29 hình ảnh, 58 khung hình video hoặc tổ hợp xen kẽ của các nội dung trên. Đầu vào văn bản còn hỗ trợ tiền tố tác vụ, cho phép tạo các biểu diễn vector khác nhau cho cùng một đoạn văn bản tùy theo tác vụ.

Tải trọng số mô hình: lấy tệp mô hình google/embeddinggemma-2 từ Hugging Face hoặc Kaggle; nếu cần phiên bản tối ưu cho thiết bị, có thể truy cập trang LiteRT Community.
Chọn framework chạy: có thể tải trực tiếp mô hình bằng các công cụ phổ biến như transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama và LM Studio.
Viết mã suy luận: lấy sentence-transformers làm ví dụ, sau khi tải mô hình, dùng prompt_name="SearchQuery" và "Document" lần lượt để mã hóa truy vấn và tài liệu, sau đó gọi similarity() để tính độ tương đồng vector.
Xây dựng hệ thống truy xuất: lưu embedding được tạo vào cơ sở dữ liệu vector, chẳng hạn Qdrant, để triển khai tìm kiếm ngữ nghĩa, lập chỉ mục kho mã nguồn hoặc truy xuất đa phương thức.
Triển khai trên thiết bị: trên thiết bị di động, có thể dùng Google AI Edge MediaPipe để trực tiếp tích hợp các tác vụ embedding, truy xuất và ra quyết định, hoặc dùng LiteRT để tích hợp tùy chỉnh; trên trình duyệt, có thể chạy qua transformers.js / WebGPU.
Xây dựng RAG cục bộ: kết hợp với Gemma 4, trong đó EmbeddingGemma 2 phụ trách truy xuất tệp cục bộ, còn Gemma 4 phụ trách suy luận ngữ cảnh; các thành phần dùng chung giúp giảm tổng mức sử dụng bộ nhớ.

Thống nhất đa phương thức gốc: một mô hình duy nhất đồng thời hỗ trợ năm phương thức gồm văn bản, mã nguồn, hình ảnh, video và âm thanh, đồng thời ánh xạ chúng vào cùng một không gian vector, thay thế phương án ghép “mỗi phương thức một mô hình” trước đây.
Siêu nhẹ, có thể chạy trên thiết bị: toàn bộ đa phương thức chỉ có 740M tham số; sau khi lượng tử hóa, mô hình chỉ chiếm khoảng 567MB bộ nhớ trên Pixel 11 Pro, cho phép suy luận đa phương thức ngoại tuyến ngay trên điện thoại.
Hiệu năng mạnh nhất trong cùng kích thước: là mô hình Embedding đa phương thức mạnh nhất dưới 1B tham số; ở một số tác vụ, mô hình còn vượt qua các mô hình chuyên dụng có kích thước lớn hơn gấp đôi.
Năng lực mã nguồn tăng mạnh: điểm truy xuất mã nguồn tăng gần 10 điểm so với thế hệ trước, đặc biệt phù hợp với lập chỉ mục kho mã nguồn cục bộ và truy xuất cho coding agent.
Tải mô-đun theo nhu cầu: các bộ mã hóa hình ảnh và âm thanh có thể tháo rời độc lập; tác vụ văn bản chỉ cần 270M tham số, tránh chi phí bộ nhớ cho những phương thức không cần thiết.
Chi phí lưu trữ thấp: nhờ học biểu diễn Matryoshka, vector 768 chiều có thể cắt xuống 128 chiều, giúp dung lượng lưu trữ kho vector giảm tối đa còn một phần sáu ban đầu.
Hỗ trợ ngữ cảnh dài: cửa sổ ngữ cảnh 8K token gấp 4 lần thế hệ trước, mỗi lần có thể xử lý khoảng 5.5 phút âm thanh hoặc 29 hình ảnh.
Phối hợp tự nhiên với Gemma 4: dùng chung tokenizer và bộ mã hóa âm thanh, giúp giảm tổng mức sử dụng bộ nhớ khi kết hợp hai mô hình để xây dựng RAG cục bộ.

Trang chính thức của dự án: https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/
Kho mô hình HuggingFace: https://huggingface.co/google/embeddinggemma-2
Bài viết kỹ thuật: https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2

Tìm kiếm ngữ nghĩa đa phương thức trên thiết bị: dùng văn bản hoặc ảnh chụp thực tế để tìm kiếm thư viện phương tiện cục bộ trên điện thoại, toàn bộ quá trình diễn ra ngoại tuyến và không tải dữ liệu riêng tư lên mạng.
Truy xuất nội dung video và định vị khoảnh khắc: dùng văn bản hoặc âm thanh để nhanh chóng định vị đoạn mục tiêu trong video giám sát, bài giảng trực tuyến hoặc bản ghi cuộc họp, chẳng hạn cảnh “rùa biển kiếm ăn”, loại bỏ việc tìm kiếm thủ công từng khung hình.
Kho tri thức RAG cục bộ: kết hợp với Gemma 4 để xây dựng hệ thống RAG ngoại tuyến, lập chỉ mục thống nhất tài liệu, hình ảnh và âm thanh cục bộ, phù hợp với mạng nội bộ doanh nghiệp, môi trường mật và các kịch bản không thể đưa dữ liệu lên đám mây.
Lập chỉ mục ngữ nghĩa kho mã nguồn và truy xuất cho Agent: xây dựng chỉ mục vector cho kho mã nguồn cục bộ, hỗ trợ tìm kiếm mã nguồn theo ngữ nghĩa cho coding agent; điểm truy xuất mã nguồn tăng gần 10 điểm so với thế hệ trước.