LingBot-Touch آپریشن میں

LingBot-Touch چیونٹی لنگ بوٹ کا اوپن سورس ٹیکٹائل پری ٹرینڈ بنیادی ماڈل ہے، جو ٹیکٹائل سینسرز اور روبوٹ ایکشن ماڈلز کے درمیان مترجم کا کام کرتا ہے۔ LingBot-Touch مقناطیسی ٹیکٹائل، بصری ٹیکٹائل، پیزوریسسٹو اور دیگر متنوع سینسر سگنلز کو یکساں طور پر ٹیکٹائل Tokenز میں انکوڈ کرتا ہے، اور رابطے کی جگہ، قوت کی مقدار اور سمت جیسی ایسی خصوصیات فراہم کرتا ہے جنہیں ایکشن ماڈل سمجھ سکتے ہیں۔ اس طرح خام سگنلز براہِ راست دینے سے کامیابی کی شرح کم ہونے کا مسئلہ حل ہوتا ہے۔ LingBot-Touch کو JEPA طریقۂ کار پر تربیت دی گئی ہے، یہ مشترکہ ٹیکٹائل Transformer بیک بون استعمال کرتا ہے، اس میں صرف تقریباً 5 ملین پیرامیٹرز ہیں، اور 26 حقیقی روبوٹ کاموں میں اس کی مؤثریت ثابت ہو چکی ہے۔ یہ صفر نمونہ طریقے سے ایسے سینسرز پر منتقل ہو سکتا ہے جنہیں اس نے پہلے نہیں دیکھا، اور اس اہم خلا کو پُر کرتا ہے جہاں وژن رابطے سے پہلے اور ٹیکٹائل حس رابطے کے بعد کی معلومات فراہم کرتی ہے۔

متنوع سگنلز کی یکساں انکوڈنگ: مقناطیسی ٹیکٹائل، بصری ٹیکٹائل اور پیزوریسسٹو سینسرز کے خام سگنلز کو معیاری ٹیکٹائل Tokenز میں تبدیل کرتا ہے، تاکہ ایکشن ماڈل مختلف فارمیٹس کے ٹیکٹائل ڈیٹا کو سمجھ سکے۔
رابطے کی حالت کا ادراک: ٹیکٹائل سگنلز سے رابطے کی جگہ، قوت کی مقدار اور سمت میں وقت کے ساتھ ہونے والی تبدیلیاں اخذ کرتا ہے، تاکہ روبوٹ واضح طور پر جان سکے کہ انگلی کہاں لگی، کتنی قوت استعمال ہوئی اور پھسلن ہوئی یا نہیں۔
ہارڈویئر کے درمیان منتقلی: یکساں کوآرڈینیٹ اسپیس اور مشترکہ بیک بون کا ڈھانچہ استعمال کرتا ہے، اس لیے دوبارہ تربیت کے بغیر ایسے سینسرز اور ڈیکسٹرس ہینڈ لے آؤٹس پر منتقل ہو سکتا ہے جنہیں پہلے نہیں دیکھا گیا۔
پلگ اینڈ پلے انضمام: منجمد خصوصیتی انکوڈر کے طور پر اسے π0.5، Diffusion Policy، T-Rex اور دیگر معروف ایکشن ماڈلز سے براہِ راست منسلک کیا جا سکتا ہے، جبکہ پیرامیٹرز میں صرف تقریباً 0.13%–0.16% اضافہ ہوتا ہے۔
تیز اور مؤثر استدلال: کم سے کم ورژن HaT-Tiny میں صرف تقریباً 546万 پیرامیٹرز ہیں، یہ ہائی فریکوئنسی ریئل ٹائم استدلال کی حمایت کرتا ہے اور ڈیکسٹرس آپریشن کی حقیقی وقت کی ضروریات پوری کرتا ہے۔
آپریشن کی کامیابی کی شرح میں اضافہ: 26 حقیقی روبوٹ کاموں میں اوسط کامیابی کی شرح میں زیادہ سے زیادہ 20 فیصد سے زائد پوائنٹس کا اضافہ کرتا ہے، اور خاص طور پر زِپ کھینچنے، بوتل کا ڈھکن گھمانے اور اسٹرا داخل کرنے جیسے رابطہ مرکز精밀 کاموں میں مؤثر ہے۔

WeChat پر فالو کرکے “اوپن سورس” کا جواب دیں اور AI اوپن سورس پراجیکٹ گروپ میں شامل ہوں۔
معیاری ہندسی انٹرفیس اور Token ایڈریس میکانزم: مختلف سینسرز کے ٹیکٹائل پوائنٹس کی تعداد اور ترتیب میں بڑے فرق کے مسئلے کے لیے، ماڈل پہلے تمام ٹیکٹائل پوائنٹس کو معیاری انگلی کے کوآرڈینیٹ اسپیس میں میپ کرتا ہے، پھر ہر Token کو وقت، انگلی کے نمبر اور تین جہتی مقام پر مشتمل ایک “ایڈریس” دیتا ہے۔ اسے روٹیشن پوزیشنل انکوڈنگ (RoPE) کے ذریعے ماڈل میں شامل کیا جاتا ہے، جس سے مقررہ ٹیکٹائل پوائنٹس اور لے آؤٹ پر انحصار ختم ہو جاتا ہے اور “ایڈریس پر مبنی” قابلِ توسیع ان پٹ ممکن ہوتا ہے۔
الگ انٹری پوائنٹس، مشترکہ بیک بون کا ہائبرڈ ڈھانچہ: ماڈل تینوں سینسنگ اصولوں کے لیے الگ ہلکے Tokenizerز تیار کرتا ہے، جو خام ریڈنگز کو Tokenز میں تبدیل کرکے سینسرز کے ہارڈویئر فرق کو ہضم کرتے ہیں۔ اس کے بعد تمام Tokenز مشترکہ ٹیکٹائل Transformer بیک بون میں داخل ہوتے ہیں، جہاں مختلف ذرائع سے آنے والے رابطے کے طبیعی اصول ایک ہی پوشیدہ اسپیس میں مشترکہ طور پر سیکھے جاتے ہیں۔
JEPA پر مبنی فیچر اسپیس پیش گوئی: چونکہ ٹیکٹائل سگنلز کی ریڈنگز زیادہ تر وقت “0” ہوتی ہیں اور ماڈل آسانی سے “پس منظر سیکھنے” کا راستہ اختیار کر سکتا ہے، اس لیے تربیت کے دوران 90% ٹیکٹائل پوائنٹس کو بے ترتیب طور پر اور مسلسل حصے کی صورت میں چھپایا جاتا ہے۔ ماڈل کو باقی 10% قابلِ مشاہدہ سگنلز کی بنیاد پر چھپے ہوئے حصے کی پوشیدہ نمائندگی فیچر اسپیس میں پیش گوئی کرنی ہوتی ہے، جس سے اسے حقیقی رابطے کی معلومات سیکھنے پر مجبور کیا جاتا ہے۔
لے آؤٹ کی یادداشت روکنے کے لیے ٹیکٹائل پوائنٹس میں خلل: چونکہ پری ٹریننگ میں صرف تین سینسر لے آؤٹس شامل ہیں، ماڈل ٹیکٹائل پوائنٹس کے مقامات کو براہِ راست یاد کر سکتا ہے۔ اس لیے تربیت کے دوران ٹیکٹائل پوائنٹس کی نمونہ کثافت کو بے ترتیب طور پر تبدیل کیا جاتا ہے اور ہر پوائنٹ کے مقام میں معمولی خلل ڈالا جاتا ہے، یوں چوتھا لے آؤٹ مصنوعی طور پر تیار ہوتا ہے اور ماڈل قابلِ منتقلی رابطہ جاتی طبیعی نمائندگی سیکھتا ہے۔

ماڈل حاصل کریں: GitHub، Hugging Face یا 魔搭 کمیونٹی سے اوپن سورس تکنیکی رپورٹ، کوڈ اور ماڈل ویٹس ڈاؤن لوڈ کریں۔
سینسر منسلک کریں: موجودہ ڈیکسٹرس ہینڈ پر نصب مقناطیسی ٹیکٹائل، بصری ٹیکٹائل یا پیزوریسسٹو سینسرز کے خام سگنلز ماڈل میں داخل کریں؛ ہارڈویئر تبدیل کرنے یا سینسرز کو ایڈجسٹ کرنے کی ضرورت نہیں۔
خصوصیات انکوڈ کریں: LingBot-Touch خام سگنلز کو معیاری ٹیکٹائل Tokenز میں انکوڈ کرتا ہے اور رابطے کی جگہ، قوت، سمت اور دیگر قابلِ فہم نمائندگی فراہم کرتا ہے۔
پوسٹ ٹریننگ حکمتِ عملی: ایکشن ماڈل، مثلاً π0.5 یا Diffusion Policy، کو تربیت دیتے وقت منجمد LingBot-Touch خصوصیات کو اضافی ان پٹ کے طور پر شامل کرکے مشترکہ پوسٹ ٹریننگ کریں؛ ماڈل کے پیرامیٹرز میں تبدیلی کی ضرورت نہیں۔
تعیناتی اور استدلال: تربیت یافتہ پالیسی کو حقیقی روبوٹ پر تعینات کریں۔ LingBot-Touch منجمد انکوڈر کے طور پر ریئل ٹائم میں چلتا ہے، جبکہ پیرامیٹرز میں صرف تقریباً 0.13%–0.16% اضافہ ہوتا ہے۔

متنوع ڈیٹا کی یکسانیت: مقناطیسی ٹیکٹائل، بصری ٹیکٹائل، پیزوریسسٹو اور دیگر مختلف فارمیٹس کے سینسر سگنلز کو معیاری Tokenز میں یکساں طور پر انکوڈ کرتا ہے، جس سے ٹیکٹائل ڈیٹا کے باہمی عدمِ استعمال اور ہر نئے ہاتھ کے لیے دوبارہ آغاز کے صنعتی مسئلے کو حل کیا جاتا ہے۔
صفر نمونہ ہارڈویئر منتقلی: اگر سینسر پری ٹریننگ ڈیٹا میں کبھی شامل نہ ہوا ہو، مثلاً XHand، اور ایک بھی پیرامیٹر تبدیل نہ کیا گیا ہو، تب بھی کامیابی کی شرح 48% سے بڑھ کر 74.17% ہو جاتی ہے، یعنی ایک ہارڈویئر کا تجربہ اگلے روبوٹ کے لیے نقطۂ آغاز بن جاتا ہے۔
پلگ اینڈ پلے، کم مداخلت: منجمد انکوڈر کے طور پر اسے π0.5، Diffusion Policy اور دیگر معروف ایکشن ماڈلز سے براہِ راست منسلک کیا جا سکتا ہے۔ پیرامیٹرز میں صرف 0.13%–0.16% اضافہ ہوتا ہے اور اصل ماڈل کے ڈھانچے میں خلل نہیں پڑتا۔
انتہائی ہلکا اور مؤثر: کم سے کم ورژن HaT-Tiny میں صرف تقریباً 546万 پیرامیٹرز ہیں، یہ ہائی فریکوئنسی ریئل ٹائم استدلال کی حمایت کرتا ہے اور ڈیکسٹرس آپریشن کے ملی سیکنڈ سطح کے ردِعمل کی ضرورت پوری کرتا ہے۔
درستگی میں نمایاں برتری: رابطے کے مرکز کا تعین کرنے کی غلطی صرف 0.12–0.16 ملی میٹر ہے، جو FTP-1 کی 2.19–5.89 ملی میٹر غلطی سے کہیں بہتر ہے، جبکہ FTP-1 کے لیے ہر ہاتھ کے لیے الگ اڈاپٹر بھی درکار ہوتا ہے۔
لیبلنگ کی لاگت انتہائی کم: پری ٹریننگ ڈیٹا کے لیے صرف کام کی قسم کا لیبل درکار ہے، قوت کی مقدار کا لیبل ضروری نہیں۔ 2/3 ڈیٹا دستانوں کے ذریعے جمع کیا گیا، جس سے ٹیکٹائل ڈیٹا حاصل کرنے کی رکاوٹ نمایاں طور پر کم ہو گئی۔

پراجیکٹ کی سرکاری ویب سائٹ: https://technology.robbyant.com/lingbot-touch
GitHub ریپوزٹری: https://github.com/Robbyant/lingbot-touch
HuggingFace ماڈل کلیکشن: https://huggingface.co/collections/robbyant/lingbot-touch
تکنیکی مقالہ: https://arxiv.org/pdf/2611.12806

ریٹیل چھانٹی: فارمیسیوں، سہولت اسٹورز اور دیگر مقامات پر مختلف سائز اور شکل کی اشیا اٹھانا، انگلی کے سرے کے ٹیکٹائل سے گرفت کی قوت اور پھسلن کا اندازہ لگانا، اور اشیا کے نقصان کی شرح کم کرنا۔
لاجسٹکس چھانٹی: نرم پیکجنگ اور نازک اشیا، مثلاً تھیلی میں بند اشیا یا بوتلوں میں موجود مائعات، کو چھانٹتے وقت ٹیکٹائل کے ذریعے پیکج کی شکل کی تبدیلی اور اندرونی ہلچل محسوس کرنا، تاکہ اٹھانے اور رکھنے کا عمل مستحکم رہے۔
صنعتی اسمبلی: داخل کرنے، نکالنے، گھمانے اور درست جگہ پر رکھنے جیسے دقیق اسمبلی کام انجام دینا، مثلاً بوتل کا ڈھکن گھمانا یا چابی داخل کرکے تالا کھولنا، اور کیمرے کا منظر مسدود ہونے کے باوجود رابطے کے مرحلے میں مزاحمت کی تبدیلی مسلسل محسوس کرنا۔
کھانے اور مشروبات سے متعلق آپریشن: اسٹرا داخل کرنا، ٹوتھ پیسٹ نچوڑنا اور پیکٹ سیل کرنا جیسے دقیق کام انجام دینا، جھلی کے چھیدنے کے لمحے قوت میں اچانک تبدیلی محسوس کرنا، اور ضرورت سے زیادہ قوت کے باعث ناکامی سے بچنا۔