LingBot-Touch Faoliyat yuritmoqda

LingBot-Touch — Ant Group’ning Lingbo jamoasi tomonidan ochiq manba sifatida taqdim etilgan taktil oldindan o‘qitilgan bazaviy model bo‘lib, taktil sensorlar va robot harakat modellari o‘rtasida tarjimon vazifasini bajaradi. LingBot-Touch magnit-taktil, vizual-taktil, piezorezistiv va boshqa geterogen sensor signallarini yagona taktil Token formatida kodlaydi hamda harakat modeli tushuna oladigan aloqa nuqtasi, kuch kattaligi va yo‘nalishi kabi xususiyatlarni chiqaradi. Shu tariqa xom signallarni bevosita uzatish natijasida muvaffaqiyat darajasi pasayishi muammosi hal qilinadi. LingBot-Touch JEPA yo‘nalishi asosida o‘qitilgan bo‘lib, umumiy taktil Transformer asosidan foydalanadi va atigi taxminan 5 million parametrga ega. Model 26 ta real robot vazifasida samaradorligini ko‘rsatgan, ilgari ko‘rilmagan sensorlarga nol namunali ko‘chirishni qo‘llab-quvvatlaydi hamda ko‘rish aloqa boshlanishidan oldingi, taktil sezgi esa aloqa boshlanganidan keyingi bosqichni boshqaradigan muhim bo‘g‘inni to‘ldiradi.

Geterogen signallarni yagona kodlash: magnit-taktil, vizual-taktil va piezorezistiv sensorlarning xom signallarini standartlashtirilgan taktil Tokenlarga aylantiradi, shunda harakat modeli turli formatdagi taktil ma’lumotlarni tushuna oladi.
Aloqa holatini sezish: taktil signallardan aloqa nuqtasi, kuch kattaligi va yo‘nalishining vaqt davomida qanday o‘zgarishini aniqlaydi, robotga “barmoq qayerga tegdi, qancha kuch ishlatildi, sirpanish bormi” degan ma’lumotlarni beradi.
Turli qurilmalarga ko‘chirish: yagona koordinatalar fazosi va umumiy asos arxitekturasidan foydalanadi, qayta o‘qitmasdan ilgari ko‘rilmagan sensorlar va robot qo‘li konfiguratsiyalariga ko‘chiriladi.
Ulanishi oson: muzlatilgan xususiyat kodlagichi sifatida π0.5, Diffusion Policy, T-Rex kabi asosiy harakat modellariga bevosita ulanadi, parametrlar sonini atigi taxminan 0.13%–0.16% ga oshiradi.
Yuqori chastotali va samarali xulosa chiqarish: eng kichik HaT-Tiny versiyasi atigi taxminan 5.46 million parametrga ega bo‘lib, yuqori chastotali real vaqt xulosasini qo‘llab-quvvatlaydi va nozik manipulyatsiyaning real vaqt talablariga javob beradi.
Manipulyatsiya muvaffaqiyatini oshirish: 26 ta real robot vazifasida o‘rtacha muvaffaqiyat darajasini eng ko‘pi bilan 20 foiz punktidan ko‘proqqa oshiradi; ayniqsa fermuar tortish, butilka qopqog‘ini burash va somoncha kiritish kabi aloqa zich bo‘lgan nozik amallarda samarali.

WeChat’da kuzatib boring va “开源” deb javob yuboring, AI ochiq manba loyihalari guruhiga qo‘shiling
Standartlashtirilgan geometrik interfeys va Token manzili mexanizmi: turli sensorlardagi aloqa nuqtalari soni va joylashuvi katta farq qilishi muammosini hal qilish uchun model avval barcha nuqtalarni standartlashtirilgan yagona barmoq uchi koordinatalar fazosiga aks ettiradi. So‘ng har bir Token uchun vaqt, barmoq raqami va uch o‘lchamli joylashuvdan tashkil topgan “manzil” ajratadi va uni aylanuvchi pozitsion kodlash (RoPE) orqali modelga kiritadi. Bu qattiq aloqa nuqtalari soni va joylashuviga bog‘liqlikni yo‘qotib, “manzillashtirilgan” kengaytiriladigan kirishni ta’minlaydi.
Alohida kirishlar, umumiy asosga ega aralash arxitektura: model uch turdagi sensor prinsipi uchun alohida yengil Tokenizerlar ishlab chiqadi. Ular apparatdagi farqlarni bartaraf etish uchun xom o‘lchovlarni Tokenlarga aylantiradi. Keyin barcha Tokenlar umumiy taktil Transformer asosiga birlashadi va turli manbalardan kelgan aloqa fizikasi qonuniyatlari yagona yashirin fazoda birgalikda o‘rganiladi.
JEPA asosida xususiyat fazosini bashorat qilish: taktil signallar o‘qishlarining aksariyat qismi “0” bo‘lishi va model “fonni yaxshi o‘rganish” kabi oson yo‘lga kirib qolishi muammosiga qarshi, o‘qitish vaqtida aloqa nuqtalarining 90 foizi tasodifiy ravishda maskalanadi va butun segment davomida yopiq saqlanadi. Model qolgan 10 foiz ko‘rinadigan signal asosida maskalangan qismning yashirin ifodasini xususiyat fazosida bashorat qiladi, shu orqali haqiqiy aloqa ma’lumotlarini o‘rganishga majbur bo‘ladi.
Aloqa nuqtalarini o‘zgartirish orqali joylashuvni yodlab olishning oldini olish: oldindan o‘qitish faqat uch xil sensor joylashuvini qamrab olgani sababli model aloqa nuqtalari joylashuvini bevosita yodlab olishi mumkin. Shuning uchun o‘qitish jarayonida aloqa nuqtalarining namuna olish zichligi tasodifiy o‘zgartiriladi va har bir nuqta joylashuviga kichik siljish beriladi. Shu tariqa sun’iy ravishda to‘rtinchi joylashuv yaratiladi va model ko‘chiriladigan aloqa fizikasi ifodasini o‘rganishi ta’minlanadi.

Modelni olish: GitHub, Hugging Face yoki ModelScope’dan ochiq manbadagi texnik hisobot, kod va model og‘irliklarini yuklab oling.
Sensorni ulash: mavjud robot qo‘lidagi magnit-taktil, vizual-taktil yoki piezorezistiv sensorlarning xom signallarini modelga ulang; apparatni almashtirish yoki sensorning o‘zini sozlash talab etilmaydi.
Xususiyatlarni kodlash: LingBot-Touch xom signallarni standartlashtirilgan taktil Tokenlarga kodlaydi va aloqa nuqtasi, kuch, yo‘nalish kabi tushunarli ifodalarni chiqaradi.
O‘qitishdan keyingi strategiya: harakat modelini, masalan, π0.5 yoki Diffusion Policy’ni o‘qitishda muzlatilgan LingBot-Touch xususiyatlarini qo‘shimcha kirish sifatida qo‘shib, modelni o‘qitishni davom ettiring; model parametrlarini o‘zgartirish shart emas.
Joylashtirish va xulosa chiqarish: o‘qitilgan siyosatni real robotga joylashtiring. LingBot-Touch muzlatilgan kodlagich sifatida real vaqtda ishlaydi va parametrlar sonini atigi taxminan 0.13%–0.16% ga oshiradi.

Turli ma’lumotlarni birlashtirish: magnit-taktil, vizual-taktil, piezorezistiv va boshqa formatlari keskin farq qiladigan sensor signallarini standartlashtirilgan Tokenlarga aylantiradi. Shu orqali taktil ma’lumotlarning o‘zaro mos kelmasligi va boshqa qo‘lga o‘tilganda hammasini boshidan boshlash muammosi hal qilinadi.
Nol namunali qurilmalararo ko‘chirish: sensor oldindan o‘qitish ma’lumotlarida ilgari uchramagan bo‘lsa ham, masalan XHand’da, parametrlarning hech biri o‘zgartirilmasdan muvaffaqiyat darajasi 48% dan 74.17% gacha oshadi. Natijada “bir qurilmaning tajribasi keyingi robot uchun boshlang‘ich nuqtaga aylanadi”.
Ulanishi oson va kam aralashuvli: muzlatilgan kodlagich sifatida π0.5, Diffusion Policy kabi asosiy harakat modellariga bevosita ulanadi, parametrlar sonini atigi 0.13%–0.16% ga oshiradi va mavjud model arxitekturasiga xalaqit bermaydi.
Juda yengil va samarali: eng kichik HaT-Tiny versiyasi atigi taxminan 5.46 million parametrga ega, yuqori chastotali real vaqt xulosasini qo‘llab-quvvatlaydi va nozik manipulyatsiyaning millisekund darajasidagi javob talablariga javob beradi.
Aniqlik bo‘yicha katta ustunlik: aloqa markazini aniqlash xatosi atigi 0.12–0.16 millimetr bo‘lib, FTP-1’ning 2.19–5.89 millimetr ko‘rsatkichidan ancha yaxshi. Bundan tashqari, FTP-1 har bir qo‘l uchun alohida adapter talab qiladi.
Belgilash xarajati juda past: oldindan o‘qitish ma’lumotlarida faqat vazifa turini belgilash talab etiladi, kuch kattaligini belgilash shart emas. Ma’lumotlarning 2/3 qismi qo‘lqop orqali to‘plangan bo‘lib, taktil ma’lumotlarni olish to‘sig‘ini sezilarli kamaytiradi.

Loyiha rasmiy sayti: https://technology.robbyant.com/lingbot-touch
GitHub repozitoriysi: https://github.com/Robbyant/lingbot-touch
Hugging Face model kutubxonasi: https://huggingface.co/collections/robbyant/lingbot-touch
Texnik maqola: https://arxiv.org/pdf/2611.12806

Chakana saralash: dorixona va qulay do‘konlar kabi joylarda o‘lchami va shakli turlicha bo‘lgan mahsulotlarni ushlashda barmoq uchidagi taktil sezgi orqali ushlash kuchi va sirpanish ehtimolini aniqlash, mahsulot shikastlanishini kamaytirish.
Logistika saralashi: yumshoq qadoqlar va mo‘rt mahsulotlarni, masalan, paketlangan buyumlar yoki butilkadagi suyuqliklarni saralashda taktil sezgi orqali qadoq deformatsiyasi va ichki siljishni aniqlab, barqaror ushlash va qo‘yishni ta’minlash.
Sanoat yig‘ish: tiqish-ajratish, burash va moslashtirish kabi aniq yig‘ish amallarini, masalan, butilka qopqog‘ini burash yoki kalitni kiritib qulf ochishni bajarish; kamera ko‘rishi to‘silgan aloqa bosqichida qarshilik o‘zgarishini uzluksiz sezish.
Ovqatlanish va ichimliklar bilan ishlash: somoncha kiritish, tish pastasini siqish va paketni yopish kabi nozik vazifalarni bajarish; plyonka teshilgan paytdagi kuchning keskin o‘zgarishini sezib, ortiqcha kuch ishlatilishi sababli muvaffaqiyatsizlikning oldini olish.