Google DeepMind ilichapisha makala jana (Julai 30), ikitangaza kuzinduliwa kwa muundo wa Gemini Robotics ER 2, ambao ni muundo imara zaidi wa Google wa uelewa wa kimwili kwa roboti (embodied reasoning).
Kwa upande wa nafasi yake, muundo huu unaweza kuonekana kama “ubongo wa hali ya juu” wa roboti, unaoratibu mawasiliano na binadamu, uelewa wa ulimwengu wa kimwili na upangaji wa majukumu yenye hatua nyingi. Baadaye, muundo huu utagawa majukumu kwa miundo ya kiwango cha chini zaidi ya kuona-lugha-vitendo (VLA), na kusimamia utekelezaji wa majukumu hayo.
Kwa upande wa vipengele, ikilinganishwa na toleo la awali la 1.6, muundo wa Gemini Robotics ER 2 huwezesha roboti kutazama video mfululizo, kufuatilia maendeleo ya utekelezaji wake, kufanya marekebisho matatizo yanapotokea, na kubaini kwa usahihi wakati wa kuingia katika hatua inayofuata. Muundo huo pia unaweza kutumia Google Search (Utafutaji wa Google) au vitendaji maalum vilivyobainishwa na watengenezaji moja kwa moja.
Kwa upande wa mawakala wa kimwili, roboti inapokuwa ikitekeleza jukumu, muundo wa Gemini Robotics ER 2 unaweza kufikiri kwa wakati mmoja kuhusu hatua zinazofuata, hivyo kupunguza kusita kunakosababishwa na mchakato wa kawaida wa roboti wa “kusimama — kufikiri — kisha kutenda”. Muundo huu umeunganishwa na kituo cha mwisho cha Gemini Live API (API ya Gemini ya wakati halisi) kinachowezesha utiririshaji wa pande mbili, kwa ajili ya majukumu ya roboti yanayohitaji ucheleweshaji mdogo.
Ikilinganishwa na Gemini Robotics ER 1.6, ER 2 inaweza kuchanganua mtiririko endelevu wa video. Roboti inaweza kutumia hilo kufuatilia maendeleo ya jukumu lake, kurekebisha au kujaribu tena hatua inapofanya kosa, na kuamua wakati wa kuingia katika hatua inayofuata.
Katika jaribio la uainishaji wa maendeleo ya majukumu, Gemini Robotics ER 2 ilipata usahihi wa 57.4%. Uwezo huu unaweza kusaidia roboti kurekebisha hatua zilizoshindikana bila kuanzisha upya mtiririko mzima wa kazi.
Katika jaribio la kutafuta nyakati muhimu (moment-finding), muundo ulihitajika kubaini fremu sahihi ya video ambapo tukio muhimu lilitokea, kwa mfano kuamua wakati wa kuacha kumimina kahawa kwenye kikombe. ER 2 ilipata usahihi wa 91.3%, huku hitilafu ya wastani kabisa ya muda ikiwa sekunde 0.96.
Google ilisema kuwa muundo huu hufikia usahihi unaokaribia ule wa kundi la miundo mikubwa zaidi kwa gharama ndogo ya kompyuta, huku ukiwa na kasi ya utekelezaji iliyo mara 4 zaidi, na ukitimiza mahitaji ya ucheleweshaji wa chini ya sekunde moja yanayohitajika kwa uendeshaji salama wa roboti za ulimwengu halisi.
ER 2 pia inaunga mkono ushirikiano wa roboti nyingi. Roboti za aina tofauti zinaweza kuwasiliana na kukabidhiana majukumu kwa kutumia uelewa wa pamoja wa kimaana, na kukamilisha mtiririko changamano wa kazi ambao kifaa kimoja hakiwezi kuutekeleza kwa kujitegemea. Google ilionyesha mfano wa ushirikiano kati ya Apollo 2 ya Apptronik na FR3 Duo ya Franka.
Gemini Robotics ER 2 sasa inapatikana kwa watengenezaji kupitia Gemini API na Google AI Studio; wakati huo huo, imeanza kutolewa kwa majaribio ya faragha katika Gemini Enterprise Agent Platform (Jukwaa la Mawakala wa Biashara la Gemini). Google pia imechapisha mifano ya msimbo wa usanidi wa muundo na vidokezo.