LingBot-Touch Inafanya kazi

LingBot-Touch ni modeli msingi ya mafunzo ya awali ya hisi za mguso iliyowaziwa na Ant Lingbo, inayofanya kazi kama mfasiri kati ya vitambuzi vya mguso na modeli za vitendo vya roboti. LingBot-Touch husimba kwa pamoja mawimbi ya vitambuzi mseto kama mguso wa sumaku, mguso wa kuona na aina za piezoresistive kuwa Tokeni za mguso, na kutoa vipengele vinavyoeleweka na modeli za vitendo, kama vile mahali pa mguso, ukubwa na mwelekeo wa nguvu. Hivyo hutatua tatizo la kulisha mawimbi ghafi moja kwa moja, jambo ambalo linaweza kupunguza kiwango cha mafanikio. LingBot-Touch imefunzwa kwa kutumia mkondo wa JEPA na hutumia kiini cha pamoja cha Transformer ya mguso, ikiwa na takribani parameta milioni 5 pekee. Imehakikisha ufanisi wake katika majukumu 26 ya roboti halisi, na inaweza kuhamia bila sampuli kwenye vitambuzi visivyowahi kuonekana, hivyo kujaza kiungo muhimu kati ya kuona kabla ya mguso na mguso baada ya mguso.

Usimbaji wa pamoja wa mawimbi mseto: Husimba mawimbi ghafi ya aina tatu za vitambuzi, yaani mguso wa sumaku, mguso wa kuona na piezoresistive, kuwa Tokeni sanifu za mguso, ili modeli za vitendo ziweze kuelewa data ya mguso yenye miundo tofauti.
Utambuzi wa hali ya mguso: Huchanganua kutoka kwenye mawimbi ya mguso mabadiliko ya mahali pa mguso, ukubwa na mwelekeo wa nguvu kadiri muda unavyopita, na kumwezesha roboti kuelewa wazi “kidole kimegusa wapi, kimetumia nguvu kiasi gani, na kama kinateleza”.
Uhamishaji kati ya maunzi: Hutumia nafasi ya kuratibu ya pamoja pamoja na usanifu wa kiini cha pamoja, hivyo inaweza kuhamishiwa kwenye vitambuzi na mpangilio wa mikono yenye ustadi ambayo haijawahi kuonekana bila mafunzo upya.
Muunganisho wa moja kwa moja: Kama kisimbaji cha vipengele kilichogandishwa, inaweza kuunganishwa moja kwa moja kwenye modeli kuu za vitendo kama π0.5, Diffusion Policy na T-Rex, huku ikiongeza takribani 0.13%–0.16% tu ya parameta.
Utabiri wa haraka na wenye ufanisi: Toleo dogo zaidi, HaT-Tiny, lina takribani parameta milioni 5.46 pekee na linaunga mkono utabiri wa wakati halisi kwa masafa ya juu, unaokidhi mahitaji ya uendeshaji wa mikono yenye ustadi.
Kuongeza kiwango cha mafanikio ya uendeshaji: Katika majukumu 26 ya roboti halisi, kiwango cha wastani cha mafanikio kimeongezeka kwa zaidi ya asilimia 20; mfumo huu ni bora hasa katika kazi za mguso wa kina kama kuvuta zipu, kufungua vifuniko vya chupa na kuingiza mirija ya kunywea.

Fuatilia WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi ya AI yenye msimbo wazi
Kiolesura cha kijiometri sanifu na utaratibu wa anwani za Tokeni: Ili kushughulikia tofauti kubwa za idadi na mpangilio wa sehemu za mguso katika kila kitambuzi, modeli kwanza hupanga sehemu zote za mguso kwenye nafasi sanifu ya kuratibu ya ncha za vidole. Kisha huipa kila Tokeni “anwani” inayoundwa na muda, nambari ya kidole na mahali pa pande tatu, na kuiingiza kwenye modeli kupitia usimbaji wa nafasi wa mzunguko (RoPE). Hii huondoa utegemezi wa idadi na mpangilio maalum wa sehemu za mguso, na kuwezesha ingizo linaloweza kupanuka kwa kutumia anwani.
Usanifu mseto wa milango tofauti na kiini cha pamoja: Modeli huunda Tokenizer nyepesi maalum kwa kila mojawapo ya kanuni tatu za utambuzi, inayobadilisha vipimo ghafi kuwa Tokeni na kupunguza tofauti za maunzi kati ya vitambuzi. Baadaye Tokeni zote huingia kwenye kiini cha pamoja cha Transformer ya mguso, ambapo kanuni za kifizikia za mguso kutoka vyanzo tofauti hujifunza kwa pamoja katika nafasi fiche moja.
Utabiri wa nafasi ya vipengele kwa msingi wa JEPA: Kwa kuwa vipimo vya mawimbi ya mguso huwa “0″ kwa muda mwingi na modeli inaweza kuchukua mkato wa “kujifunza usuli”, wakati wa mafunzo 90% ya sehemu za mguso hufichwa bila mpangilio na kufichwa kwa kipindi kizima. Modeli hutumia 10% ya mawimbi yanayoonekana yaliyosalia kutabiri uwakilishi fiche wa sehemu iliyofichwa katika nafasi ya vipengele, na kulazimishwa kujifunza taarifa halisi ya mguso.
Msukosuko wa sehemu za mguso kuzuia kukariri mpangilio: Kwa kuwa mafunzo ya awali yanahusu mipangilio mitatu tu ya vitambuzi, modeli inaweza kukariri mahali pa sehemu za mguso. Kwa hiyo, wakati wa mafunzo, msongamano wa sampuli za sehemu za mguso hubadilishwa bila mpangilio na mahali pa kila sehemu husukumwa kidogo, hivyo kutengeneza mpangilio wa nne kwa makusudi na kuhakikisha modeli inajifunza uwakilishi wa kifizikia wa mguso unaoweza kuhamishwa.

Kupata modeli: Pakua ripoti ya kiufundi, msimbo na uzani wa modeli kutoka GitHub, Hugging Face au Jumuiya ya ModelScope.
Kuunganisha vitambuzi: Ingiza mawimbi ghafi ya vitambuzi vya mguso wa sumaku, mguso wa kuona au piezoresistive vilivyopo kwenye mkono wenye ustadi, bila kubadilisha maunzi au kurekebisha vitambuzi vyenyewe.
Kusimba vipengele: LingBot-Touch husimba mawimbi ghafi kuwa Tokeni sanifu za mguso, na kutoa uwakilishi unaoeleweka wa mahali pa mguso, nguvu na mwelekeo.
Mbinu ya mafunzo ya baadae: Wakati wa kufundisha modeli ya vitendo, kama π0.5 au Diffusion Policy, tumia vipengele vilivyogandishwa vya LingBot-Touch kama ingizo la ziada katika mafunzo ya baadae; parameta za modeli hazihitaji kubadilishwa.
Utekelezaji na utabiri: Tekeleza sera iliyofunzwa kwenye roboti halisi. LingBot-Touch itaendesha kwa wakati halisi kama kisimbaji kilichogandishwa, huku ikiongeza takribani 0.13%–0.16% tu ya parameta.

Kuunganisha data mseto: Husimba kwa pamoja mawimbi ya vitambuzi vyenye miundo tofauti sana, kama mguso wa sumaku, mguso wa kuona na piezoresistive, kuwa Tokeni sanifu, na kutatua tatizo la data za mguso kutotangamana na hitaji la kuanza upya kila unapobadilisha mkono.
Uhamishaji wa maunzi bila sampuli: Hata kama kitambuzi hakikuwahi kuonekana katika data ya mafunzo ya awali, kama XHand, na hakuna parameta iliyobadilishwa, kiwango cha mafanikio bado huongezeka kutoka 48% hadi 74.17%, hivyo uzoefu wa maunzi moja huwa mwanzo wa roboti inayofuata.
Muunganisho wa moja kwa moja na uingiliaji mdogo: Kama kisimbaji kilichogandishwa, inaweza kuunganishwa moja kwa moja kwenye modeli kuu za vitendo kama π0.5 na Diffusion Policy, huku ikiongeza 0.13%–0.16% tu ya parameta na bila kuvuruga usanifu wa modeli iliyopo.
Nyepesi na yenye ufanisi wa hali ya juu: Toleo dogo zaidi, HaT-Tiny, lina takribani parameta milioni 5.46 pekee na linaunga mkono utabiri wa wakati halisi kwa masafa ya juu, unaokidhi mahitaji ya mwitikio wa milisekunde katika uendeshaji wa mikono yenye ustadi.
Usahihi wa juu zaidi: Hitilafu ya kutambua kitovu cha mguso ni milimita 0.12–0.16 pekee, bora zaidi kuliko milimita 2.19–5.89 za FTP-1, ambayo pia inahitaji adapta maalum kwa kila mkono.
Gharama ndogo sana ya uwekaji lebo: Data ya mafunzo ya awali inahitaji tu lebo ya aina ya kazi, bila kuweka lebo ya ukubwa wa nguvu. Theluthi mbili ya data hukusanywa kwa glavu, hivyo kupunguza kwa kiasi kikubwa kizingiti cha kupata data ya mguso.

Tovuti rasmi ya mradi: https://technology.robbyant.com/lingbot-touch
Hazina ya GitHub: https://github.com/Robbyant/lingbot-touch
Mkusanyiko wa modeli za HuggingFace: https://huggingface.co/collections/robbyant/lingbot-touch
Karatasii ya kiufundi: https://arxiv.org/pdf/2611.12806

Upangaji wa bidhaa rejareja: Katika maduka ya dawa, maduka ya urahisi na mazingira mengine, hushika bidhaa zenye ukubwa na maumbo tofauti, na kutumia mguso wa ncha za vidole kutambua nguvu ya kushika na kama bidhaa inateleza, hivyo kupunguza uharibifu wa bidhaa.
Upangaji wa mizigo: Wakati wa kupanga vifungashio laini na bidhaa zinazovunjika, kama vitu vilivyofungwa kwenye mifuko au vimiminika vilivyowekwa kwenye chupa, hutumia mguso kutambua mabadiliko ya umbo la kifurushi na mtikisiko wa ndani, na kuwezesha kushika na kuweka kwa uthabiti.
Mkusanyiko wa viwandani: Hufanya kazi za usahihi kama kuingiza na kutoa, kuzungusha na kupangilia, kwa mfano kufunga kifuniko cha chupa au kuingiza ufunguo na kufungua kufuli. Hata kamera inapozuiwa kuona, huendelea kutambua mabadiliko ya upinzani wakati wa mguso.
Uendeshaji wa chakula na vinywaji: Hufanya kazi sahihi kama kuingiza mirija ya kunywea, kubana dawa ya meno na kufunga mifuko. Hutambua ongezeko la ghafla la nguvu wakati filamu inapotobolewa, na kuzuia kushindwa kunakosababishwa na kutumia nguvu kupita kiasi.