EmbeddingGemma 2 চালু আছে

EmbeddingGemma 2 হলো গুগলের ওপেন-সোর্স নেটিভ মাল্টিমোডাল Embedding মডেল, যা Gemma 4 আর্কিটেকচারের ওপর ভিত্তি করে তৈরি। এটি টেক্সট, কোড, ছবি, ভিডিও ও অডিওকে একটি অভিন্ন ভেক্টর স্পেসে ম্যাপ করে ক্রস-মোডাল সেমান্টিক সার্চ সক্ষম করে। EmbeddingGemma 2 মডিউলারভাবে নকশা করা; সব মোড মিলিয়ে এতে মাত্র 740M প্যারামিটার, 8K token কনটেক্সট এবং কোয়ান্টাইজেশনের পর ফোনে প্রায় 567MB মেমরি লাগে। EmbeddingGemma 2 হলো 1B-এর কম প্যারামিটারের সবচেয়ে শক্তিশালী মাল্টিমোডাল ভেক্টর মডেলগুলোর একটি। কোড সার্চে আগের প্রজন্মের তুলনায় প্রায় 10 পয়েন্ট উন্নতি হয়েছে। এটি অন-ডিভাইস RAG, সেমান্টিক সার্চ ও ফটো অ্যালবাম সার্চে উপযোগী।

ক্রস-মোডাল সেমান্টিক সার্চ: টেক্সট, কোড, ছবি, ভিডিও ও অডিওকে একই ভেক্টর স্পেসে ম্যাপ করে, ফলে যেকোনো একটি মোড ব্যবহার করে অন্য মোড সার্চ করা যায়।
অন-ডিভাইস লোকাল রান: সব মোড মিলিয়ে মাত্র 740M প্যারামিটার; কোয়ান্টাইজেশনের পর Pixel 11 Pro-তে প্রায় 567MB মেমরি লাগে। ইন্টারনেট সংযোগ ছাড়াই ফোন বা ল্যাপটপে ইনফারেন্স করা যায়।
লোকাল RAG পাইপলাইন: Gemma 4-এর সঙ্গে tokenizer ও অডিও এনকোডার শেয়ার করে। দুটি মডেল একত্রে লোকাল মাল্টিমোডাল retrieval-augmented generation সিস্টেম তৈরি করতে পারে এবং ডেটার গোপনীয়তা রক্ষা করে।
সেমান্টিক ফটো অ্যালবাম/মিডিয়া সার্চ: Google AI Edge Gallery-এর Instant Media Search-এ টেক্সট লিখে ফোনের ফটো অ্যালবামের ছবি সার্চ করা যায়, অথবা ক্যামেরায় তোলা কোনো বস্তু দিয়ে একই ধরনের ছবি খোঁজা যায়।
ভিডিও মুহূর্ত শনাক্তকরণ: Video Moments Finder টেক্সট বা অডিও কোয়েরি গ্রহণ করে ভিডিওতে সেমান্টিকভাবে মিলে যাওয়া দৃশ্যের অংশ স্বয়ংক্রিয়ভাবে চিহ্নিত করে।
রিয়েল-টাইম সিদ্ধান্ত ইঞ্জিন: MediaPipe Decision Task API-এর মাধ্যমে রিয়েল-টাইম শ্রেণিবিন্যাস, রাউটিং ও পূর্বাভাস করা যায়। প্রদর্শনীতে প্রতিটি সিদ্ধান্তে মাত্র 43 মিলিসেকেন্ড লেগেছে, যা LLM-এর 640 মিলিসেকেন্ডের তুলনায় অনেক দ্রুত।

WeChat-এ ফলো করে “开源” রিপ্লাই দিন এবং AI ওপেন-সোর্স প্রকল্পের আলোচনাগোষ্ঠীতে যোগ দিন
অভিন্ন মাল্টিমোডাল এমবেডিং স্পেস: মডেলটি Gemini Embedding সিরিজের প্রযুক্তিগত ধারাবাহিকতা অনুসরণ করে বিভিন্ন মোডের ইনপুটকে একই উচ্চ-মাত্রিক ভেক্টর স্পেসে এনকোড করে। ফলে অর্থগতভাবে কাছাকাছি কনটেন্ট ভেক্টর স্পেসে কাছাকাছি থাকে এবং সম্পর্কহীন কনটেন্ট দূরে থাকে। ক্রস-মোডাল সার্চকে একটি অভিন্ন ভেক্টর নিকটতম-প্রতিবেশী সার্চ সমস্যায় সরল করা যায়; প্রতিটি মোডের জন্য আলাদা মডেল রক্ষণাবেক্ষণের প্রয়োজন হয় না।
মডিউলার এনকোডার-ডিকোডার আর্কিটেকচার: মডেলটি Gemma 4 আর্কিটেকচারের ওপর তৈরি এবং তিনটি অংশে গঠিত: 270M প্যারামিটারের টেক্সট ব্যাকবোন, 170M প্যারামিটারের ভিশন এনকোডার এবং 300M প্যারামিটারের অডিও এনকোডার। ভিশন ও অডিও মডিউল প্রয়োজন অনুযায়ী লোড করা যায়। তাই বাস্তব ডিপ্লয়মেন্টে চারটি কনফিগারেশন রয়েছে: শুধু টেক্সট, টেক্সট+ছবি (440M), টেক্সট+অডিও এবং সব মোড। টেক্সট-ভিত্তিক কাজে ভিশন ও অডিও মডিউলের জন্য অতিরিক্ত মেমরি লাগে না।
Gemma 4-এর সঙ্গে শেয়ার করা কম্পোনেন্ট: EmbeddingGemma 2 এবং জেনারেটিভ মডেল Gemma 4 একই টেক্সট tokenizer ও অডিও এনকোডার ব্যবহার করে। এগুলো একসঙ্গে অন-ডিভাইস RAG পাইপলাইন তৈরি করতে পারে। EmbeddingGemma 2 স্থানীয় মাল্টিমোডাল ফাইলকে এনকোড করে ইনডেক্সে রাখে, আর Gemma 4 সার্চের পর কনটেক্সট নিয়ে ইনফারেন্স করে। শেয়ার করা কম্পোনেন্ট কম্বাইন্ড ডিপ্লয়মেন্টে মোট মেমরি ব্যবহার কমায়।
Matryoshka রিপ্রেজেন্টেশন লার্নিং ও ডায়নামিক ট্রাঙ্কেশন: মডেলটি MRL প্রশিক্ষণ ব্যবহার করে 768-মাত্রার ভেক্টর তৈরি করে এবং ইনফারেন্সের সময় তা 512, 256 বা 128 মাত্রায় ট্রাঙ্কেট করা যায়। 256 মাত্রায় ট্রাঙ্কেট করলেও কর্মক্ষমতা প্রায় অপরিবর্তিত থাকে, আর ভেক্টর ডেটাবেসের স্টোরেজ সর্বোচ্চ মূল আকারের এক-ষষ্ঠাংশে নামিয়ে আনা যায়।
5. দীর্ঘ কনটেক্সট ও দীর্ঘ ইনপুট বিভাজন: মডেলটি 8K token কনটেক্সট উইন্ডো সমর্থন করে, যা আগের প্রজন্মের 4 গুণ। একবারে প্রায় 5.5 মিনিটের অডিও, 29টি ছবি, 58টি ভিডিও ফ্রেম অথবা এগুলোর আন্তঃমিশ্রিত সমন্বয় প্রক্রিয়া করা যায়। টেক্সট ইনপুটে টাস্ক প্রিফিক্সও সমর্থিত, ফলে একই টেক্সট বিভিন্ন কাজের জন্য ভিন্ন ভেক্টর উপস্থাপনা তৈরি করতে পারে।

মডেল ওজন ডাউনলোড করুন: Hugging Face বা Kaggle থেকে google/embeddinggemma-2-এর মডেল ফাইল সংগ্রহ করুন। অন-ডিভাইস অপ্টিমাইজ করা সংস্করণ প্রয়োজন হলে LiteRT Community পেজে যান।
রানটাইম ফ্রেমওয়ার্ক বেছে নিন: transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama, LM Studioসহ প্রধান টুলের মাধ্যমে সরাসরি মডেল লোড করা যায়।
ইনফারেন্স কোড লিখুন: sentence-transformers-এর উদাহরণে, মডেল লোড করার পর prompt_name="SearchQuery" এবং "Document" ব্যবহার করে যথাক্রমে কোয়েরি ও ডকুমেন্ট এনকোড করুন, তারপর similarity() কল করে ভেক্টরের সাদৃশ্য হিসাব করুন।
সার্চ সিস্টেম তৈরি করুন: তৈরি করা embedding ভেক্টর ডেটাবেসে, যেমন Qdrant-এ, সংরক্ষণ করলে সেমান্টিক সার্চ, কোডবেস ইনডেক্সিং বা মাল্টিমোডাল সার্চ বাস্তবায়ন করা যায়।
অন-ডিভাইস ডিপ্লয়মেন্ট: মোবাইলে Google AI Edge MediaPipe ব্যবহার করে এমবেডিং, সার্চ ও সিদ্ধান্তের কাজে সরাসরি সংযুক্ত করা যায়, অথবা LiteRT দিয়ে কাস্টম ইন্টিগ্রেশন করা যায়। ব্রাউজারে transformers.js / WebGPU ব্যবহার করে চালানো যায়।
লোকাল RAG তৈরি করুন: Gemma 4-এর সঙ্গে ব্যবহার করলে EmbeddingGemma 2 স্থানীয় ফাইল সার্চের দায়িত্ব নেয় এবং Gemma 4 কনটেক্সট ইনফারেন্স করে। শেয়ার করা কম্পোনেন্ট মোট মেমরি ব্যবহার কমায়।

নেটিভ পূর্ণ-মাল্টিমোডাল ঐক্য: একটি মডেলেই টেক্সট, কোড, ছবি, ভিডিও ও অডিও—এই পাঁচ ধরনের মোড সমর্থিত এবং সবকিছুকে একই ভেক্টর স্পেসে ম্যাপ করা হয়। এর ফলে আগের “প্রতি মোডে একটি মডেল” পদ্ধতির প্রয়োজন থাকে না।
অত্যন্ত হালকা ও অন-ডিভাইস চালানো যায়: সব মোড মিলিয়ে মাত্র 740M প্যারামিটার। কোয়ান্টাইজেশনের পর Pixel 11 Pro-তে প্রায় 567MB মেমরি লাগে, তাই ফোনেই অফলাইনে মাল্টিমোডাল ইনফারেন্স করা যায়।
একই আকারে শক্তিশালী কর্মক্ষমতা: 1B-এর কম প্যারামিটারের সবচেয়ে শক্তিশালী মাল্টিমোডাল Embedding মডেলগুলোর একটি; কিছু কাজে দ্বিগুণেরও বেশি আকারের বিশেষায়িত মডেলকেও ছাড়িয়ে যায়।
কোড সক্ষমতায় বড় উন্নতি: কোড সার্চের স্কোর আগের প্রজন্মের তুলনায় প্রায় 10 পয়েন্ট বেড়েছে। স্থানীয় কোডবেস ইনডেক্সিং ও coding agent সার্চের জন্য অত্যন্ত উপযোগী।
প্রয়োজন অনুযায়ী মডিউল লোড: ভিশন ও অডিও এনকোডার আলাদাভাবে সরিয়ে রাখা যায়। টেক্সট কাজের জন্য শুধু 270M প্যারামিটার প্রয়োজন, ফলে অপ্রয়োজনীয় মোডের মেমরি খরচ এড়ানো যায়।
কম স্টোরেজ খরচ: Matryoshka রিপ্রেজেন্টেশন লার্নিংয়ের ভিত্তিতে 768-মাত্রার ভেক্টরকে 128 মাত্রায় ট্রাঙ্কেট করা যায়। ভেক্টর ডেটাবেসের স্টোরেজ সর্বোচ্চ মূল আকারের এক-ষষ্ঠাংশে নামিয়ে আনা যায়।
দীর্ঘ কনটেক্সট সমর্থন: 8K token কনটেক্সট উইন্ডো আগের প্রজন্মের 4 গুণ; একবারে প্রায় 5.5 মিনিটের অডিও বা 29টি ছবি প্রক্রিয়া করা যায়।
Gemma 4-এর সঙ্গে স্বাভাবিক সমন্বয়: একই tokenizer ও অডিও এনকোডার শেয়ার করে, ফলে দুটিকে একত্রে লোকাল RAG তৈরিতে ব্যবহার করলে মোট মেমরি খরচ কম হয়।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/google/embeddinggemma-2
প্রযুক্তিগত গবেষণাপত্র: https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2

অন-ডিভাইস মাল্টিমোডাল সেমান্টিক সার্চ: ফোনের ফটো অ্যালবামে টেক্সট বা তোলা ছবি ব্যবহার করে স্থানীয় মিডিয়া লাইব্রেরি সার্চ করা যায়। পুরো প্রক্রিয়া অফলাইনে চলে এবং ব্যক্তিগত ডেটা আপলোড হয় না।
ভিডিও কনটেন্ট সার্চ ও মুহূর্ত শনাক্তকরণ: নজরদারি ভিডিও, অনলাইন ক্লাস বা মিটিং রেকর্ডিংয়ে টেক্সট বা অডিও কোয়েরির মাধ্যমে দ্রুত লক্ষ্য দৃশ্য খুঁজে বের করা যায়, যেমন “কচ্ছপ খাওয়ার” দৃশ্য। এতে হাতে ধরে প্রতিটি ফ্রেম খোঁজার প্রয়োজন হয় না।
লোকাল RAG নলেজ বেস: Gemma 4-এর সঙ্গে অফলাইন RAG সিস্টেম তৈরি করে স্থানীয় ডকুমেন্ট, ছবি ও অডিওকে একসঙ্গে ইনডেক্স করা যায়। এটি কর্পোরেট ইন্ট্রানেট, গোপনীয় পরিবেশ বা ক্লাউডে আপলোড করা যায় না এমন পরিস্থিতিতে উপযোগী।
কোডবেস সেমান্টিক ইনডেক্স ও Agent সার্চ: স্থানীয় কোডবেসের জন্য ভেক্টর ইনডেক্স তৈরি করে coding agent-এর সেমান্টিক কোড সার্চ সমর্থন করা যায়। কোড সার্চের স্কোর আগের প্রজন্মের তুলনায় প্রায় 10 পয়েন্ট বেড়েছে।