LingBot-Touch চালু আছে

LingBot-Touch হলো Ant Lingbo-এর ওপেন সোর্স করা একটি স্পর্শ-প্রশিক্ষিত ভিত্তি মডেল, যা স্পর্শ সেন্সর ও রোবটের অ্যাকশন মডেলের মধ্যে অনুবাদক হিসেবে কাজ করে। LingBot-Touch চৌম্বকীয় স্পর্শ, ভিজ্যুয়াল স্পর্শ, পাইজোরেজিস্টিভসহ বিভিন্ন ধরনের সেন্সর সংকেতকে একীভূতভাবে স্পর্শ Token-এ এনকোড করে এবং সংস্পর্শের অবস্থান, প্রয়োগকৃত বলের পরিমাণ ও দিকের মতো অ্যাকশন মডেল-বোধ্য বৈশিষ্ট্য আউটপুট দেয়। এর মাধ্যমে কাঁচা সংকেত সরাসরি ইনপুট দিলে সাফল্যের হার কমে যাওয়ার সমস্যা সমাধান করা হয়। LingBot-Touch JEPA পদ্ধতিতে প্রশিক্ষিত, এতে একটি শেয়ার্ড স্পর্শ Transformer ব্যাকবোন রয়েছে এবং মাত্র প্রায় 5 মিলিয়ন প্যারামিটার ব্যবহার করা হয়। 26টি বাস্তব রোবট কাজের মাধ্যমে এর কার্যকারিতা যাচাই করা হয়েছে। এটি আগে দেখা হয়নি এমন সেন্সরেও জিরো-শট ট্রান্সফার করতে পারে এবং দৃষ্টিনির্ভর যোগাযোগের আগের ধাপ ও স্পর্শনির্ভর যোগাযোগের পরের ধাপের মধ্যে গুরুত্বপূর্ণ সংযোগ তৈরি করে।

বিভিন্ন ধরনের সংকেতের একীভূত এনকোডিং: চৌম্বকীয় স্পর্শ, ভিজ্যুয়াল স্পর্শ ও পাইজোরেজিস্টিভ—এই তিন ধরনের সেন্সরের কাঁচা সংকেতকে মানসম্মত স্পর্শ Token-এ অনুবাদ করে, যাতে অ্যাকশন মডেল বিভিন্ন ফরম্যাটের স্পর্শ ডেটা বুঝতে পারে।
সংস্পর্শের অবস্থা অনুধাবন: স্পর্শ সংকেত থেকে সংস্পর্শের অবস্থান, প্রয়োগকৃত বলের পরিমাণ এবং সময়ের সঙ্গে দিকের পরিবর্তন বিশ্লেষণ করে, যাতে রোবট বুঝতে পারে “আঙুল কোথায় লেগেছে, কতটা জোর প্রয়োগ হয়েছে এবং পিছলে যাচ্ছে কি না”।
হার্ডওয়্যারজুড়ে ট্রান্সফার: অভিন্ন স্থানাঙ্ক ব্যবস্থা ও শেয়ার্ড ব্যাকবোন আর্কিটেকচার ব্যবহার করে, পুনঃপ্রশিক্ষণ ছাড়াই আগে দেখা হয়নি এমন সেন্সর ও ডেক্সটেরাস হ্যান্ড বিন্যাসে স্থানান্তর করা যায়।
প্লাগ-অ্যান্ড-প্লে সংযুক্তি: একটি ফ্রোজেন ফিচার এনকোডার হিসেবে এটি π0.5, Diffusion Policy, T-Rex-এর মতো জনপ্রিয় অ্যাকশন মডেলে সরাসরি যুক্ত করা যায়; প্যারামিটার মাত্র প্রায় 0.13%–0.16% বৃদ্ধি পায়।
উচ্চ-ফ্রিকোয়েন্সি ও দক্ষ ইনফারেন্স: সবচেয়ে ছোট সংস্করণ HaT-Tiny-তে মাত্র প্রায় 546万 প্যারামিটার রয়েছে এবং এটি উচ্চ ফ্রিকোয়েন্সিতে রিয়েল-টাইম ইনফারেন্স সমর্থন করে, যা ডেক্সটেরাস ম্যানিপুলেশনের তাৎক্ষণিকতার চাহিদা পূরণ করে।
ম্যানিপুলেশনের সাফল্যের হার বৃদ্ধি: 26টি বাস্তব রোবট কাজে গড় সাফল্যের হার সর্বোচ্চ 20 শতাংশ-পয়েন্টের বেশি বৃদ্ধি পেয়েছে; বিশেষ করে জিপার টানা, বোতলের ঢাকনা খোলা এবং স্ট্র ঢোকানোর মতো ঘন সংস্পর্শনির্ভর সূক্ষ্ম কাজে এটি দক্ষ।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন এবং AI ওপেন সোর্স প্রকল্পের গ্রুপে যোগ দিন
মানসম্মত জ্যামিতিক ইন্টারফেস ও Token ঠিকানা ব্যবস্থা: বিভিন্ন সেন্সরের স্পর্শবিন্দুর সংখ্যা ও বিন্যাসে বড় পার্থক্যের সমস্যা সমাধানে মডেল প্রথমে সব স্পর্শবিন্দুকে একটি অভিন্ন মানসম্মত আঙুলের ডগার স্থানাঙ্ক ব্যবস্থায় ম্যাপ করে। এরপর প্রতিটি Token-এর জন্য সময়, আঙুলের নম্বর ও ত্রিমাত্রিক অবস্থান দিয়ে গঠিত একটি “ঠিকানা” নির্ধারণ করে এবং ঘূর্ণনভিত্তিক অবস্থান এনকোডিং (RoPE)-এর মাধ্যমে তা মডেলে প্রবেশ করায়। এতে নির্দিষ্ট স্পর্শবিন্দুর সংখ্যা ও বিন্যাসের ওপর নির্ভরতা দূর হয় এবং “ঠিকানাভিত্তিক” সম্প্রসারণযোগ্য ইনপুট সম্ভব হয়।
আলাদা ইনপুট, অভিন্ন ব্যাকবোনের হাইব্রিড আর্কিটেকচার: তিন ধরনের সেন্সিং নীতির জন্য মডেল আলাদা হালকা Tokenizer তৈরি করে, যা কাঁচা রিডিংকে Token-এ রূপান্তর করে এবং সেন্সরগুলোর হার্ডওয়্যারগত পার্থক্য শোষণ করে। এরপর সব Token একটি শেয়ার্ড স্পর্শ Transformer ব্যাকবোনে প্রবেশ করে, যাতে বিভিন্ন উৎসের সংস্পর্শের ভৌত নিয়ম একই ল্যাটেন্ট স্পেসে যৌথভাবে শেখা যায়।
JEPA-ভিত্তিক ফিচার-স্পেস পূর্বাভাস: স্পর্শ সংকেতের অধিকাংশ সময়ের রিডিং “0” হওয়ায় মডেল সহজে “ব্যাকগ্রাউন্ড শেখার” পথে চলে যেতে পারে। তাই প্রশিক্ষণের সময় 90% স্পর্শবিন্দু এলোমেলোভাবে আড়াল করা হয় এবং পুরো অংশজুড়ে আড়াল রাখা হয়। মডেলকে দৃশ্যমান অবশিষ্ট 10% সংকেতের ভিত্তিতে ফিচার স্পেসে আড়াল করা অংশের ল্যাটেন্ট উপস্থাপনা পূর্বাভাস দিতে হয়, ফলে প্রকৃত সংস্পর্শ-সংক্রান্ত তথ্য শেখার জন্য মডেল বাধ্য হয়।
বিন্যাস মুখস্থ করা ঠেকাতে স্পর্শবিন্দুতে পরিবর্তন: প্রাক-প্রশিক্ষণে মাত্র তিন ধরনের সেন্সর বিন্যাস থাকায় মডেল স্পর্শবিন্দুর অবস্থান মুখস্থ করতে পারে। তাই প্রশিক্ষণের সময় স্পর্শবিন্দু স্যাম্পলিংয়ের ঘনত্ব এলোমেলোভাবে পরিবর্তন করা হয় এবং প্রতিটি স্পর্শবিন্দুর অবস্থানে সামান্য পরিবর্তন আনা হয়। এভাবে কৃত্রিমভাবে চতুর্থ একটি বিন্যাস তৈরি করা হয়, যাতে মডেল স্থানান্তরযোগ্য সংস্পর্শের ভৌত উপস্থাপনা শেখে।

মডেল সংগ্রহ: GitHub, Hugging Face বা 魔搭社区 থেকে ওপেন সোর্স প্রযুক্তিগত প্রতিবেদন, কোড ও মডেল ওজন ডাউনলোড করুন।
সেন্সর সংযুক্তি: বিদ্যমান ডেক্সটেরাস হ্যান্ডে থাকা চৌম্বকীয় স্পর্শ, ভিজ্যুয়াল স্পর্শ বা পাইজোরেজিস্টিভ সেন্সরের কাঁচা সংকেত মডেলে ইনপুট দিন; হার্ডওয়্যার পরিবর্তন বা সেন্সর নিজস্বভাবে সমন্বয় করার প্রয়োজন নেই।
ফিচার এনকোডিং: LingBot-Touch কাঁচা সংকেতকে মানসম্মত স্পর্শ Token-এ এনকোড করে এবং সংস্পর্শের অবস্থান, প্রয়োগকৃত বল ও দিকের মতো বোধগম্য উপস্থাপনা আউটপুট দেয়।
পোস্ট-ট্রেনিং কৌশল: অ্যাকশন মডেল যেমন π0.5 বা Diffusion Policy প্রশিক্ষণের সময় ফ্রোজেন LingBot-Touch ফিচারকে অতিরিক্ত ইনপুট হিসেবে নিয়ে একসঙ্গে পোস্ট-ট্রেনিং করুন; মডেলের প্যারামিটার পরিবর্তনের প্রয়োজন নেই।
ডেপ্লয়মেন্ট ও ইনফারেন্স: প্রশিক্ষিত নীতিকে বাস্তব রোবটে ডেপ্লয় করুন। LingBot-Touch ফ্রোজেন এনকোডার হিসেবে রিয়েল-টাইমে চলবে এবং প্যারামিটার মাত্র প্রায় 0.13%–0.16% বৃদ্ধি পাবে।

বিভিন্ন ধরনের ডেটার একীকরণ: চৌম্বকীয় স্পর্শ, ভিজ্যুয়াল স্পর্শ, পাইজোরেজিস্টিভসহ ফরম্যাটে ব্যাপকভাবে ভিন্ন সেন্সর সংকেতকে মানসম্মত Token-এ এনকোড করে, ফলে স্পর্শ ডেটার পারস্পরিক অসামঞ্জস্য এবং হাত বদলালেই শুরু থেকে প্রশিক্ষণের শিল্পগত সমস্যা সমাধান হয়।
জিরো-শট হার্ডওয়্যার ট্রান্সফার: প্রি-ট্রেনিং ডেটায় সেন্সরটি আগে কখনও না থাকলেও, যেমন XHand, এবং কোনো প্যারামিটার পরিবর্তন না করেও সাফল্যের হার 48% থেকে 74.17%-এ উন্নীত হয়। অর্থাৎ “একটি হার্ডওয়্যারের অভিজ্ঞতা পরবর্তী রোবটের সূচনা হয়ে ওঠে”।
প্লাগ-অ্যান্ড-প্লে, কম হস্তক্ষেপ: ফ্রোজেন এনকোডার হিসেবে এটি π0.5, Diffusion Policy-এর মতো জনপ্রিয় অ্যাকশন মডেলে সরাসরি যুক্ত করা যায়; প্যারামিটার মাত্র 0.13%–0.16% বৃদ্ধি পায় এবং মূল মডেল আর্কিটেকচারে হস্তক্ষেপ করে না।
অত্যন্ত হালকা ও দক্ষ: সবচেয়ে ছোট সংস্করণ HaT-Tiny-তে মাত্র প্রায় 546万 প্যারামিটার রয়েছে; এটি উচ্চ ফ্রিকোয়েন্সিতে রিয়েল-টাইম ইনফারেন্স সমর্থন করে এবং ডেক্সটেরাস ম্যানিপুলেশনের মিলিসেকেন্ড-স্তরের প্রতিক্রিয়ার চাহিদা পূরণ করে।
নির্ভুলতায় উল্লেখযোগ্য অগ্রগতি: সংস্পর্শের কেন্দ্র নির্ধারণে ত্রুটি মাত্র 0.12–0.16 মিলিমিটার, যা FTP-1-এর 2.19–5.89 মিলিমিটারের তুলনায় অনেক ভালো। FTP-1-এর ক্ষেত্রে আবার প্রতিটি হাতের জন্য আলাদা অ্যাডাপ্টার প্রয়োজন।
অ্যানোটেশনের খরচ অত্যন্ত কম: প্রি-ট্রেনিং ডেটায় শুধু কাজের শ্রেণি লেবেল করতে হয়, বলের পরিমাণ লেবেল করার প্রয়োজন নেই। ডেটার 2/3 অংশ গ্লাভস দিয়ে সংগ্রহ করা হয়েছে, ফলে স্পর্শ ডেটা সংগ্রহের বাধা উল্লেখযোগ্যভাবে কমে।

প্রকল্পের ওয়েবসাইট: https://technology.robbyant.com/lingbot-touch
GitHub রিপোজিটরি: https://github.com/Robbyant/lingbot-touch
HuggingFace মডেল সংগ্রহ: https://huggingface.co/collections/robbyant/lingbot-touch
প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2611.12806

খুচরা পণ্য বাছাই: ফার্মেসি, কনভেনিয়েন্স স্টোরসহ বিভিন্ন স্থানে আকার ও আকৃতিতে ভিন্ন পণ্য ধরার সময় আঙুলের ডগার স্পর্শের মাধ্যমে ধরার শক্তি ও পিছলে যাওয়া শনাক্ত করা যায়, ফলে পণ্য ক্ষতিগ্রস্ত হওয়ার হার কমে।
লজিস্টিকস বাছাই: নরম প্যাকেজ ও ভঙ্গুর পণ্য, যেমন ব্যাগজাত পণ্য বা বোতলজাত তরল বাছাইয়ের সময় স্পর্শের মাধ্যমে প্যাকেজের বিকৃতি ও ভেতরের নড়াচড়া শনাক্ত করে স্থিতিশীলভাবে ধরা ও রাখা যায়।
শিল্প সমাবেশ: ঢোকানো, খোলা, ঘোরানো ও অবস্থান মেলানোর মতো নির্ভুল সমাবেশের কাজ, যেমন বোতলের ঢাকনা লাগানো বা চাবি ঢুকিয়ে তালা খোলা, সম্পন্ন করা যায়। ক্যামেরার দৃশ্য বাধাগ্রস্ত হলেও সংস্পর্শের পর্যায়ে প্রতিরোধের পরিবর্তন ধারাবাহিকভাবে শনাক্ত করা সম্ভব।
খাদ্য ও পানীয় পরিচালনা: স্ট্র ঢোকানো, টুথপেস্ট চেপে বের করা, প্যাকেট সিল করার মতো সূক্ষ্ম কাজ সম্পাদনের সময় পাতলা ফিল্ম ছিদ্র হওয়ার মুহূর্তের বলের আকস্মিক পরিবর্তন শনাক্ত করা যায়, ফলে অতিরিক্ত শক্তি প্রয়োগজনিত ব্যর্থতা এড়ানো যায়।