LingBot-Touch 運営中

LingBot-Touchは蟻霊波がオープンソースで公開する触覚事前学習基盤モデルで、触覚センサーとロボット行動モデルの間をつなぐ翻訳器として機能します。LingBot-Touchは磁気触覚、視覚触覚、圧抵抗式などの異種センサー信号を触覚Tokenに統一的にエンコードし、接触位置、力の大きさと方向など、行動モデルが理解できる特徴を出力します。これにより、生の信号を直接入力すると成功率が低下するという課題を解決します。LingBot-TouchはJEPA方式に基づいて学習され、共有触覚Transformerバックボーンを採用しています。パラメータ数は約500万にとどまり、実機26タスクで有効性が検証されています。未知のセンサーにもゼロショットで転移でき、視覚が接触前を、触覚が接触後を担うという重要な一環を補完します。

異種信号の統一エンコード：磁気触覚、視覚触覚、圧抵抗式という3種類のセンサーの生信号を標準化された触覚Tokenに統一変換し、行動モデルが異なる形式の触覚データを理解できるようにします。
接触状態の認識：触覚信号から接触位置、力の大きさ、方向の時間的変化を解析し、ロボットが「指がどこに触れ、どれだけ力をかけ、滑っているか」を把握できるようにします。
ハードウェア間の転移：統一座標空間と共有バックボーンの構成により、再学習なしで未知のセンサーや器用な手の配置へ転移できます。
プラグアンドプレイ接続：凍結した特徴エンコーダーとして、π0.5、Diffusion Policy、T-Rexなどの主要な行動モデルに直接接続でき、追加パラメータは約0.13%–0.16%にとどまります。
高速・高効率な推論：最小構成のHaT-Tinyは約546万パラメータ בלבדで、高頻度のリアルタイム推論に対応し、器用な操作に必要なリアルタイム性を満たします。
操作成功率の向上：実機26タスクで平均成功率を最大20ポイント以上向上させており、特にファスナーの開閉、ボトルキャップの回転、ストローの挿入など、接触の多い精密操作を得意とします。

WeChatでフォローして「オープンソース」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
標準化された幾何インターフェースとTokenアドレス機構：センサーごとに接触点の数や配置が大きく異なる問題に対し、まずすべての接触点を統一された標準指先座標空間へマッピングします。次に、時間、指番号、3次元位置で構成される「アドレス」を各Tokenに割り当て、回転位置エンコーディング（RoPE）によってモデルへ注入します。これにより、固定された接触点数や配置への依存をなくし、「アドレス化」された拡張可能な入力を実現します。
分岐入力・共有バックボーンの混合アーキテクチャ：3種類のセンシング原理それぞれに軽量な専用Tokenizerを設計し、生の読み取り値をTokenへ変換してセンサー間のハードウェア差異を吸収します。その後、すべてのTokenを共有触覚Transformerバックボーンへ入力し、異なる由来の接触物理法則を同一の潜在空間で共同学習します。
JEPAに基づく特徴空間予測：触覚信号は大部分の時間で読み取り値が「0」となり、モデルが「背景を学ぶ」という近道に陥りやすい問題に対処するため、学習時には接触点の90%をランダムに、かつ一定区間にわたってマスクします。モデルは残り10%の可視信号だけを基に、マスクされた部分の潜在表現を特徴空間で予測するため、本当の接触情報を学習するよう促されます。
接触点の摂動による配置記憶の防止：事前学習では3種類のセンサー配置しか扱わないため、モデルが接触点の位置を直接記憶する可能性があります。そこで学習中に接触点のサンプリング密度をランダムに変え、各接触点の位置にも小さな摂動を加えます。これにより第4の配置を人工的に作り、モデルが転移可能な接触物理表現を学習するようにします。

モデルの取得：GitHub、Hugging Face、またはModelScopeから、オープンソースの技術レポート、コード、モデル重みをダウンロードします。
センサーの接続：既存の器用な手に搭載された磁気触覚、視覚触覚、または圧抵抗式センサーの生信号をモデルへ入力します。ハードウェアの交換やセンサー自体の調整は必要ありません。
特徴のエンコード：LingBot-Touchが生信号を標準化された触覚Tokenへエンコードし、接触位置、力、方向などの理解可能な表現を出力します。
後学習戦略：行動モデル（π0.5、Diffusion Policyなど）を学習する際、凍結したLingBot-Touchの特徴を追加入力として一緒に後学習します。モデルのパラメータ構成を変更する必要はありません。
推論への展開：学習済みポリシーを実機へ展開し、LingBot-Touchを凍結エンコーダーとしてリアルタイム実行します。追加パラメータは約0.13%–0.16%にとどまります。

異種データの統一：磁気触覚、視覚触覚、圧抵抗式など、形式が大きく異なるセンサー信号を標準化Tokenへ統一エンコードします。触覚データの互換性がなく、手を交換するたびに最初からやり直すという業界の課題を解決します。
ゼロショットのハードウェア間転移：センサーが事前学習データに一度も登場していない場合（XHandなど）でも、パラメータを1つも変更せず、成功率を48%から74.17%へ向上させます。「1つのハードウェアで得た経験を、次のロボットの出発点にする」ことを実現します。
プラグアンドプレイ・低侵襲：凍結エンコーダーとしてπ0.5、Diffusion Policyなどの主要な行動モデルに直接接続でき、追加パラメータは0.13%–0.16%にとどまります。既存モデルのアーキテクチャにも干渉しません。
極めて軽量で高効率：最小構成のHaT-Tinyは約546万パラメータにすぎず、高頻度のリアルタイム推論に対応し、器用な操作に必要なミリ秒レベルの応答を実現します。
精度で大きく上回る：接触中心の判定誤差はわずか0.12–0.16ミリメートルで、FTP-1の2.19–5.89ミリメートルを大幅に下回ります。FTP-1はさらに手ごとに専用アダプターを用意する必要があります。
アノテーションコストが極めて低い：事前学習データではタスクカテゴリのみをアノテーションし、力の大きさのラベル付けは不要です。データの2/3は手袋から収集され、触覚データ取得のハードルを大幅に下げます。

プロジェクト公式サイト：https://technology.robbyant.com/lingbot-touch
GitHubリポジトリ：https://github.com/Robbyant/lingbot-touch
Hugging Faceモデルコレクション：https://huggingface.co/collections/robbyant/lingbot-touch
技術論文：https://arxiv.org/pdf/2611.12806

小売商品の仕分け：薬局やコンビニなどで、大きさや形状が異なる商品をつかみ、指先の触覚によって把持力と滑りの有無を判断し、商品の破損率を低減します。
物流仕分け：軟包装や壊れやすい商品（袋入り商品、ボトル入り液体など）を仕分ける際、触覚で荷物の変形や内部の揺れを検知し、安定した把持と配置を実現します。
産業組立：挿抜、回転、位置合わせなどの精密な組立動作（ボトルキャップの締め付け、鍵の挿入と解錠など）を行い、カメラの視野が遮られる接触段階でも抵抗の変化を継続的に検知します。
飲食・飲料操作：ストローの挿入、歯磨き粉の絞り出し、袋の封止などの精密作業を実行し、フィルムが突き破られる瞬間の力の急変を検知して、過剰な力による失敗を防ぎます。