Hôm qua (30 tháng 7), Google DeepMind đăng bài viết công bố mô hình Gemini Robotics ER 2, mô hình suy luận thể hiện (embodied reasoning) mạnh nhất của hãng dành cho robot.
Về định vị, mô hình này có thể được xem như “bộ não cấp cao” của robot, giúp điều phối các nhiệm vụ như giao tiếp với con người, hiểu thế giới vật lý và lập kế hoạch cho các nhiệm vụ gồm nhiều bước. Sau đó, mô hình sẽ phân công nhiệm vụ cho các mô hình thị giác-ngôn ngữ-hành động (VLA) ở cấp thấp hơn và kiểm soát quá trình hoàn thành nhiệm vụ.
Về tính năng, so với phiên bản 1.6 trước đây, mô hình Gemini Robotics ER 2 cho phép robot liên tục theo dõi video để nắm được tiến độ hoạt động, điều chỉnh khi xảy ra sự cố và xác định chính xác thời điểm chuyển sang bước tiếp theo. Mô hình cũng có thể gọi Google Search (Google Tìm kiếm) hoặc các hàm tùy chỉnh do nhà phát triển định nghĩa.
Về tác tử vật lý, khi robot đang thực hiện nhiệm vụ, mô hình Gemini Robotics ER 2 có thể đồng thời suy luận các bước tiếp theo, qua đó giảm độ trễ do quy trình “dừng — suy nghĩ — hành động” truyền thống của robot. Mô hình kết nối với đầu cuối truyền dữ liệu hai chiều của Gemini Live API (API Gemini thời gian thực), hướng đến các nhiệm vụ robot nhạy cảm với độ trễ.
So với Gemini Robotics ER 1.6, ER 2 có thể phân tích luồng video liên tục. Nhờ đó, robot có thể theo dõi tiến độ nhiệm vụ, điều chỉnh hoặc thử lại khi thao tác sai và xác định thời điểm chuyển sang bước tiếp theo.
Trong bài kiểm tra phân loại tiến độ nhiệm vụ, Gemini Robotics ER 2 đạt độ chính xác 57,4%. Khả năng này giúp robot sửa các bước thất bại mà không cần khởi động lại toàn bộ quy trình.
Trong bài kiểm tra tìm khoảnh khắc (định vị thời điểm quan trọng), mô hình cần xác định chính xác khung hình video nơi sự kiện quan trọng xảy ra, chẳng hạn như xác định thời điểm dừng rót cà phê vào cốc. ER 2 đạt độ chính xác 91,3%, với sai số thời gian tuyệt đối trung bình là 0,96 giây.
Google cho biết mô hình này đạt độ chính xác gần tương đương các mô hình lớn hơn với chi phí tính toán thấp hơn, tốc độ thực thi nhanh gấp 4 lần và đáp ứng yêu cầu độ trễ dưới một giây để robot vận hành an toàn trong thực tế.
ER 2 cũng hỗ trợ phối hợp nhiều robot. Các robot khác loại có thể giao tiếp, bàn giao nhiệm vụ nhờ khả năng hiểu ngữ nghĩa chung và hoàn thành những quy trình phức tạp mà một thiết bị đơn lẻ khó có thể tự thực hiện. Google đã trình diễn trường hợp phối hợp giữa Apollo 2 của Apptronik và FR3 Duo của Franka.
Gemini Robotics ER 2 hiện được cung cấp công khai cho nhà phát triển thông qua Gemini API và Google AI Studio; đồng thời đã bắt đầu giai đoạn xem trước riêng tư trên Gemini Enterprise Agent Platform (Nền tảng tác tử doanh nghiệp Gemini). Google cũng phát hành mã mẫu cấu hình mô hình và câu lệnh.