LingBot-Touch 운영 중

LingBot-Touch는 Ant Lingbo가 오픈 소스로 공개한 촉각 사전 학습 기반 모델로, 촉각 센서와 로봇 행동 모델 사이의 번역기 역할을 합니다. LingBot-Touch는 자기 촉각, 시각 촉각, 압저항식 등 이기종 센서 신호를 촉각 Token으로 통일해 인코딩하고, 접촉 위치, 힘의 크기와 방향 등 행동 모델이 이해할 수 있는 특징을 출력합니다. 이를 통해 원시 신호를 직접 입력하면 오히려 성공률이 낮아지는 문제를 해결합니다. LingBot-Touch는 JEPA 방식으로 학습되며, 공유 촉각 Transformer 백본을 사용하고 약 500만 개의 파라미터만으로 구성됩니다. 26개 실제 로봇 작업에서 효과가 검증되었으며, 한 번도 보지 못한 센서로도 제로샷 전이가 가능합니다. 시각이 접촉 전을 담당하고 촉각이 접촉 후를 담당하는 과정에서 핵심적인 연결 고리를 보완합니다.

이기종 신호 통합 인코딩: 자기 촉각, 시각 촉각, 압저항식 센서 3종의 원시 신호를 표준화된 촉각 Token으로 통일해 변환하므로, 행동 모델이 서로 다른 형식의 촉각 데이터를 이해할 수 있습니다.
접촉 상태 인식: 촉각 신호에서 접촉 위치와 힘의 크기, 방향의 시간적 변화를 분석해 로봇이 “손가락이 어디에 닿았는지, 얼마나 힘을 줬는지, 미끄러지는지”를 파악하게 합니다.
하드웨어 간 전이: 통합 좌표 공간과 공유 백본 구조를 사용해 재학습 없이 한 번도 보지 못한 센서와 다관절 손 배치로 전이할 수 있습니다.
플러그 앤 플레이 연동: 고정된 특징 인코더로서 π0.5, Diffusion Policy, T-Rex 등 주요 행동 모델에 직접 연결할 수 있으며, 파라미터 증가는 약 0.13%–0.16%에 불과합니다.
고주파 고효율 추론: 최소 버전인 HaT-Tiny는 약 546만 개의 파라미터만 사용하며, 고주파 실시간 추론을 지원해 다관절 조작의 실시간 요구를 충족합니다.
조작 성공률 향상: 26개 실제 로봇 작업에서 평균 성공률을 최대 20%p 이상 높였으며, 특히 지퍼 열기, 병뚜껑 돌리기, 빨대 꽂기와 같은 접촉 집약적 정밀 조작에 강합니다.

WeChat에서 팔로우한 뒤 “오픈 소스”라고 답장해 AI 오픈 소스 프로젝트 교류 그룹에 참여하세요.
표준화된 기하학적 인터페이스와 Token 주소 메커니즘: 센서마다 접촉점의 수와 배치가 크게 다른 문제를 해결하기 위해, 모델은 먼저 모든 접촉점을 통일된 표준 손끝 좌표 공간에 매핑합니다. 그런 다음 각 Token에 시간, 손가락 번호, 3차원 위치로 구성된 “주소”를 할당하고 회전 위치 인코딩(RoPE)을 통해 모델에 주입합니다. 이를 통해 고정된 접촉점 수와 배치에 대한 의존성을 없애고 “주소화”된 확장 가능한 입력을 구현합니다.
분기 입력·공유 백본의 혼합 아키텍처: 모델은 세 가지 센서 원리 각각에 경량 전용 Tokenizer를 설계해 원시 측정값을 Token으로 변환하고 센서 간 하드웨어 차이를 흡수합니다. 이후 모든 Token이 공유 촉각 Transformer 백본으로 합쳐져, 서로 다른 출처의 접촉 물리 법칙을 동일한 잠재 공간에서 공동 학습합니다.
JEPA 기반 특징 공간 예측: 촉각 신호는 대부분의 시간 동안 측정값이 “0”이고 모델이 “배경을 잘 학습하는” 지름길을 택하기 쉽습니다. 이를 해결하기 위해 학습 중 접촉점의 90%를 무작위로 가리고 해당 구간 전체에서 지속적으로 마스킹합니다. 모델은 보이는 나머지 10% 신호만 바탕으로 가려진 부분의 잠재 표현을 특징 공간에서 예측해야 하므로, 실제 접촉 정보를 학습하게 됩니다.
접촉점 교란을 통한 배치 암기 방지: 사전 학습에는 세 가지 센서 배치만 포함되므로 모델이 접촉점 위치를 그대로 암기할 수 있습니다. 따라서 학습 과정에서 접촉점 샘플링 밀도를 무작위로 바꾸고 각 접촉점의 위치에 소폭의 교란을 가해 인위적으로 네 번째 배치를 만들어, 모델이 전이 가능한 접촉 물리 표현을 학습하도록 합니다.

모델 받기: GitHub, Hugging Face 또는 ModelScope 커뮤니티에서 오픈 소스로 공개된 기술 보고서, 코드와 모델 가중치를 다운로드합니다.
센서 연결: 기존 다관절 손에 장착된 자기 촉각, 시각 촉각 또는 압저항식 센서의 원시 신호를 모델에 입력합니다. 하드웨어를 교체하거나 센서 자체를 조정할 필요가 없습니다.
특징 인코딩: LingBot-Touch는 원시 신호를 표준화된 촉각 Token으로 인코딩하고, 접촉 위치, 힘, 방향 등 이해 가능한 표현을 출력합니다.
후속 학습 전략: 행동 모델(예: π0.5, Diffusion Policy)을 학습할 때 고정된 LingBot-Touch 특징을 추가 입력으로 함께 후속 학습합니다. 모델 파라미터를 변경할 필요가 없습니다.
배포 및 추론: 학습된 정책을 실제 로봇에 배포하면 LingBot-Touch가 고정 인코더 방식으로 실시간 실행되며, 파라미터 증가는 약 0.13%–0.16%에 불과합니다.

이기종 데이터 통합: 자기 촉각, 시각 촉각, 압저항식 등 형식이 크게 다른 센서 신호를 표준화된 Token으로 통일해 인코딩함으로써, 촉각 데이터가 서로 호환되지 않고 손을 바꾸면 처음부터 다시 학습해야 하는 업계의 문제를 해결합니다.
제로샷 하드웨어 간 전이: 센서가 사전 학습 데이터에 한 번도 등장하지 않은 경우(예: XHand)에도 파라미터를 하나도 수정하지 않고 성공률을 48%에서 74.17%로 높여, “한 하드웨어의 경험이 다음 로봇의 출발점이 되는” 환경을 구현합니다.
플러그 앤 플레이·낮은 침습성: 고정 인코더로서 π0.5, Diffusion Policy 등 주요 행동 모델에 직접 연결할 수 있으며, 파라미터 증가는 0.13%–0.16%에 불과해 기존 모델 구조를 방해하지 않습니다.
극도로 가볍고 효율적: 최소 버전인 HaT-Tiny는 약 546만 개의 파라미터만 사용하며, 고주파 실시간 추론을 지원해 다관절 조작에 필요한 밀리초 단위 응답을 충족합니다.
대폭 향상된 정확도: 접촉 중심 판단 오차는 0.12–0.16mm에 불과해 FTP-1의 2.19–5.89mm보다 훨씬 우수합니다. FTP-1은 각 손에 별도의 어댑터도 필요합니다.
매우 낮은 라벨링 비용: 사전 학습 데이터에는 작업 유형만 표시하면 되고 힘의 크기는 라벨링할 필요가 없습니다. 데이터의 2/3가 장갑을 사용해 수집되어 촉각 데이터 확보의 진입 장벽을 크게 낮춥니다.

프로젝트 공식 웹사이트: https://technology.robbyant.com/lingbot-touch
GitHub 저장소: https://github.com/Robbyant/lingbot-touch
Hugging Face 모델 컬렉션: https://huggingface.co/collections/robbyant/lingbot-touch
기술 논문: https://arxiv.org/pdf/2611.12806

소매 상품 분류: 약국, 편의점 등에서 크기와 형태가 다양한 상품을 집고, 손끝 촉각으로 파지력과 미끄러짐 여부를 판단해 상품 파손률을 낮춥니다.
물류 분류: 연포장과 파손되기 쉬운 물품(예: 봉지 포장 상품, 병에 담긴 액체)을 분류할 때 촉각으로 포장의 변형과 내부 흔들림을 감지해 안정적으로 집고 내려놓습니다.
산업 조립: 삽입·분리, 돌려 조이기, 위치 맞추기 등 정밀 조립 작업(예: 병뚜껑 돌리기, 열쇠를 꽂아 문 열기)을 수행하며, 카메라 시야가 가려지는 접촉 단계에서도 저항 변화를 지속적으로 감지합니다.
외식·음료 조작: 빨대 꽂기, 치약 짜기, 봉투 밀봉 등의 정밀 작업을 수행하고, 필름이 뚫리는 순간의 힘 변화를 감지해 과도한 힘으로 인한 실패를 방지합니다.