গুগল DeepMind গতকাল (৩০ জুলাই) একটি ব্লগ পোস্ট প্রকাশ করে Gemini Robotics ER 2 মডেল উন্মোচনের ঘোষণা দিয়েছে। এটি রোবটের জন্য গুগলের সবচেয়ে শক্তিশালী এমবডিড রিজনিং (embodied reasoning) মডেল।
ভূমিকার দিক থেকে, মডেলটিকে রোবটের “উন্নত মস্তিষ্ক” হিসেবে বিবেচনা করা যায়। এটি মানুষের সঙ্গে যোগাযোগ, ভৌত জগত বোঝা এবং বহু ধাপের কাজ পরিকল্পনা করার মতো বিষয়গুলো সমন্বিতভাবে পরিচালনা করে। পরে মডেলটি কাজগুলো সম্পন্ন করার জন্য নিম্নস্তরের ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন (VLA) মডেলকে নির্দেশ দেবে।
ফিচারের দিক থেকে, আগের 1.6 সংস্করণের তুলনায় Gemini Robotics ER 2 মডেলটি ধারাবাহিকভাবে ভিডিও দেখার মাধ্যমে রোবটকে এখন নিজের কাজের অগ্রগতি অনুসরণ করতে, সমস্যা দেখা দিলে সমন্বয় করতে এবং পরবর্তী ধাপে যাওয়ার সঠিক সময় নির্ধারণ করতে সক্ষম করে। মডেলটি স্বাভাবিকভাবেই Google Search (গুগল সার্চ) অথবা ডেভেলপার-নির্ধারিত কাস্টম ফাংশন ব্যবহার করতে পারে।
ভৌত এজেন্টের ক্ষেত্রে, রোবট কোনো কাজ সম্পাদন করার সময় Gemini Robotics ER 2 মডেলটি পরবর্তী ধাপগুলো একসঙ্গে বিশ্লেষণ করতে পারে। এতে প্রচলিত রোবটের “থামা — চিন্তা করা — আবার কাজ করা” প্রক্রিয়ার কারণে সৃষ্ট বিরতি কমে। মডেলটি Gemini Live API (Gemini রিয়েল-টাইম API)-এর দ্বিমুখী স্ট্রিমিং এন্ডপয়েন্টে যুক্ত, যা কম-বিলম্বনপ্রয়োজনীয় রোবটের কাজের জন্য তৈরি।
Gemini Robotics ER 1.6-এর তুলনায় ER 2 ধারাবাহিক ভিডিও স্ট্রিম বিশ্লেষণ করতে পারে। এর মাধ্যমে রোবট নিজের কাজের অগ্রগতি অনুসরণ করতে, কোনো কাজ ভুল হলে সমন্বয় বা পুনরায় চেষ্টা করতে এবং কখন পরবর্তী ধাপে যেতে হবে তা নির্ধারণ করতে পারে।
কাজের অগ্রগতি শ্রেণিবিন্যাস পরীক্ষায় Gemini Robotics ER 2-এর নির্ভুলতা 57.4%। এই সক্ষমতা পুরো ওয়ার্কফ্লো পুনরায় চালু না করেই রোবটকে ব্যর্থ ধাপ সংশোধন করতে সহায়তা করে।
moment-finding মুহূর্ত শনাক্তকরণ (গুরুত্বপূর্ণ মুহূর্ত নির্ধারণ) পরীক্ষায় মডেলকে গুরুত্বপূর্ণ ঘটনা ঘটার সঠিক ভিডিও ফ্রেম খুঁজে বের করতে হয়। যেমন, কখন কাপের মধ্যে কফি ঢালা বন্ধ করতে হবে তা নির্ধারণ করা। ER 2-এর নির্ভুলতা 91.3%, আর গড় পরম সময়গত ত্রুটি 0.96 সেকেন্ড।
গুগল জানিয়েছে, এই মডেল কম কম্পিউটিং খরচে বৃহত্তর মডেল শ্রেণির কাছাকাছি নির্ভুলতা অর্জন করে। এর গতি চার গুণ বেশি এবং বাস্তব রোবটের নিরাপদ পরিচালনার জন্য প্রয়োজনীয় এক সেকেন্ডের কম বিলম্বের মান পূরণ করে।
ER 2 একাধিক রোবটের সহযোগিতাও সমর্থন করে। বিভিন্ন ধরনের রোবট যৌথ সেমান্টিক বোঝাপড়ার মাধ্যমে যোগাযোগ ও কাজ হস্তান্তর করতে পারে এবং এমন জটিল ওয়ার্কফ্লো সম্পন্ন করতে পারে, যা কোনো একক ডিভাইসের পক্ষে স্বাধীনভাবে করা কঠিন। গুগল Apptronik-এর Apollo 2 ও Franka-এর FR3 Duo-এর সহযোগিতার একটি উদাহরণ প্রদর্শন করেছে।
Gemini Robotics ER 2 এখন Gemini API এবং Google AI Studio-এর মাধ্যমে ডেভেলপারদের জন্য উন্মুক্তভাবে সরবরাহ করা হচ্ছে। একই সময়ে, এটি Gemini Enterprise Agent Platform (Gemini এন্টারপ্রাইজ এজেন্ট প্ল্যাটফর্ম)-এ ব্যক্তিগত প্রিভিউ হিসেবে চালু হয়েছে। গুগল মডেল কনফিগারেশন ও প্রম্পটের উদাহরণ কোডও প্রকাশ করেছে।