구글 DeepMind는 어제(7월 30일) 블로그를 통해 Gemini Robotics ER 2 모델을 출시한다고 발표했다. 이 모델은 로봇을 위한 구글의 가장 강력한 체화 추론(embodied reasoning) 모델이다.
이 모델은 로봇의 ‘고급 두뇌’로 볼 수 있다. 인간과의 소통, 물리적 세계 이해, 다단계 작업 계획 등을 조율하고 처리한다. 이후 더 낮은 수준의 시각-언어-행동(VLA) 모델에 작업을 할당하고, 해당 모델이 각 작업을 완료하도록 관리한다.
기능 면에서 이전 1.6 버전과 비교하면, Gemini Robotics ER 2 모델은 동영상을 지속적으로 시청함으로써 로봇이 현재 작업 진행 상황을 추적하고, 문제가 발생했을 때 조정하며, 다음 단계로 넘어갈 시점을 정확하게 판단할 수 있도록 한다. 또한 Google Search(구글 검색) 또는 개발자가 정의한 함수를 기본적으로 호출할 수 있다.
물리적 에이전트 측면에서 로봇이 현재 작업을 수행하는 동안 Gemini Robotics ER 2 모델은 이후 단계를 동시에 추론해 기존 로봇의 ‘정지 — 사고 — 재행동’ 과정에서 발생하는 지연을 줄일 수 있다. 이 모델은 Gemini Live API(Gemini 실시간 API)의 양방향 스트리밍 엔드포인트에 연결되며, 지연 시간에 민감한 로봇 작업을 대상으로 한다.
Gemini Robotics ER 1.6과 비교해 ER 2는 연속 동영상 스트림을 분석할 수 있다. 이를 바탕으로 로봇은 작업 진행 상황을 추적하고, 동작에 오류가 발생하면 조정하거나 재시도하며, 다음 단계로 넘어갈 시점을 판단할 수 있다.
작업 진행 상황 분류 테스트에서 Gemini Robotics ER 2의 정확도는 57.4%였다. 이 기능을 활용하면 로봇은 전체 작업 흐름을 다시 시작하지 않고도 실패한 단계를 수정할 수 있다.
moment-finding(중요 시점 찾기) 테스트에서 모델은 커피를 컵에 붓는 동작을 언제 멈춰야 하는지 판단하는 것처럼, 주요 사건이 발생한 정확한 동영상 프레임을 찾아야 한다. ER 2의 정확도는 91.3%였고 평균 절대 시간 오차는 0.96초였다.
구글에 따르면 이 모델은 더 낮은 컴퓨팅 비용으로 더 큰 모델군에 가까운 정확도를 달성하며, 실행 속도는 4배 빠르다. 또한 실제 로봇의 안전한 작동에 필요한 1초 미만의 지연 시간 요구 사항을 충족한다.
ER 2는 다중 로봇 협업도 지원한다. 서로 다른 유형의 로봇이 공유된 의미 이해를 바탕으로 소통하고 작업을 인계하며, 한 대의 장비만으로는 독립적으로 수행하기 어려운 복잡한 작업 흐름을 완료할 수 있다. 구글은 Apptronik의 Apollo 2와 Franka의 FR3 Duo가 협업하는 사례를 선보였다.
Gemini Robotics ER 2는 현재 Gemini API와 Google AI Studio를 통해 개발자에게 공개 제공되고 있으며, Gemini Enterprise Agent Platform(Gemini 기업 에이전트 플랫폼)에서는 비공개 프리뷰가 시작됐다. 구글은 모델 설정 및 프롬프트 예제 코드도 공개했다.