LingBot-Touch خدام

LingBot-Touch هو موديل أساسي مفتوح المصدر للتدريب المسبق على اللمس من Ant Group LingBo، كيخدم كمترجم بين حساسات اللمس وموديلات حركات الروبوت. كيوحّد إشارات حساسات مختلفة بحال اللمس المغناطيسي، اللمس البصري، والمقاومة الضغطية فـ Touch Tokens موحّدة، وكيخرج خصائص مفهومة لموديلات الحركة بحال موقع التلامس، مقدار القوة والاتجاه ديالها، وكيحل المشكل اللي فيه إدخال الإشارات الخام مباشرة كيقدر ينقص من نسبة النجاح. LingBot-Touch تدرّب وفق منهجية JEPA، وكيستعمل بنية Transformer مشتركة ديال اللمس، غير بحوالي 5 ملايين بارامتر، وتجرّب بنجاح فـ 26 مهمة على روبوتات حقيقية. كيقدر يدير انتقال بلا أمثلة لحساسات ما سبقش شافها، وكيكمّل الحلقة المهمة بين الرؤية اللي كتتكلف بما قبل التلامس واللمس اللي كيتكلف بما بعد التلامس.

توحيد ترميز الإشارات المختلفة: كييترجم الإشارات الخام ديال ثلاثة أنواع من الحساسات، اللمس المغناطيسي واللمس البصري والمقاومة الضغطية، إلى Touch Tokens موحّدة، باش موديل الحركة يفهم بيانات اللمس مهما اختلفات الصيغة ديالها.
الإحساس بحالة التلامس: كيحلّل من إشارات اللمس التغيّر مع الوقت فموقع التلامس ومقدار القوة والاتجاه ديالها، باش الروبوت يعرف مزيان «فين لمسات الصبع، شحال من قوة استعمل، وواش كاين انزلاق».
الانتقال بين العتاد: باستعمال فضاء إحداثيات موحّد وبنية مشتركة، كيقدر ينتاقل لحساسات وتوزيعات مختلفة ديال الأصابع ما سبقش شافها بلا إعادة التدريب.
الربط والاستعمال مباشرة: باعتبارو مشفّر خصائص مجمّد، كيقدر يتركّب مباشرة مع موديلات الحركة المعروفة بحال π0.5 وDiffusion Policy وT-Rex، مع زيادة غير حوالي 0.13%–0.16% فعدد البارامترات.
استدلال سريع وفعّال: أصغر نسخة، HaT-Tiny، فيها غير حوالي 546万 بارامتر، وكتدعم الاستدلال الفوري بتردد عالي، باش تلبي متطلبات العمليات الدقيقة باليد الروبوتية.
رفع نسبة نجاح العمليات: فـ 26 مهمة على روبوتات حقيقية، قدرت ترفع متوسط نسبة النجاح بأكثر من 20 نقطة مئوية، وخصوصاً فالمهام الدقيقة اللي فيها تلامس بزاف بحال جرّ السحاب، حلّ أغطية القراعي، وإدخال الشفاطات.

تابعونا فـ WeChat وردّو بكلمة «开源» باش تنضمو لمجموعة مشاريع الذكاء الاصطناعي مفتوحة المصدر
واجهة هندسية موحّدة وآلية عناوين الـToken: حيث عدد نقاط التلامس وترتيبها كيختلفو بزاف بين الحساسات، كيسقط الموديل جميع النقاط أولا ففضاء موحّد ومنظّم لإحداثيات رؤوس الأصابع، وكيعطي لكل Token «عنوان» مكوّن من الوقت ورقم الصبع والموقع ثلاثي الأبعاد. كيدخل هاد العنوان للموديل باستعمال الترميز الموضعي الدوراني (RoPE)، وكيحيد الاعتماد على عدد ثابت ديال نقاط التلامس أو توزيع ثابت، وكيحقق إدخالا قابلا للتوسّع مبنيا على العناوين.
بنية هجينة بمداخل مختلفة وجذع مشترك: كيصمّم الموديل لكل واحد من مبادئ الاستشعار الثلاثة Tokenizer خفيف ومخصّص، مسؤول على تحويل القياسات الخام إلى Tokens باش يتعامل مع الاختلافات بين الحساسات. من بعد كتدخل جميع الـTokens لجذع Transformer مشترك خاص باللمس، وكتتعلّم قوانين فيزيائية مختلفة ديال التلامس بشكل مشترك ففضاء كامن واحد.
التنبؤ بفضاء الخصائص اعتمادا على JEPA: حيث إشارات اللمس كتكون فالغالب «0» والموديل يقدر ياخذ اختصار ويتعلّم الخلفية، كيتحجب عشوائيا 90% من نقاط التلامس أثناء التدريب، وكيستمر الحجب على المقطع كامل. الموديل خاصو يتنبأ فالفضاء ديال الخصائص بالتمثيل الكامن للجزء المحجوب اعتمادا غير على 10% المتبقية والمرئية، وبهذا كيتجبر يتعلّم معلومات التلامس الحقيقية.
تشويش نقاط التلامس لمنع حفظ التوزيع: بما أن التدريب المسبق كيغطي غير ثلاثة توزيعات ديال الحساسات، يقدر الموديل يحفظ مواقع النقاط مباشرة. لذلك كيتبدّل عشوائيا أثناء التدريب معدل أخذ عينات نقاط التلامس، وكيتدار تشويش صغير على موقع كل نقطة، باش يتصنع توزيع رابع بشكل اصطناعي ويضمن أن الموديل يتعلّم تمثيلا فيزيائيا للتلامس قابل للانتقال.

الحصول على الموديل: حمّل التقرير التقني والكود وأوزان الموديل مفتوحة المصدر من GitHub أو Hugging Face أو مجتمع ModelScope.
ربط الحساسات: دخل الإشارات الخام ديال حساسات اللمس المغناطيسي أو البصري أو المقاومة الضغطية الموجودة فاليد الروبوتية للموديل، بلا ما تبدّل العتاد أو تعدّل الحساسات نفسها.
ترميز الخصائص: LingBot-Touch كيحوّل الإشارات الخام إلى Touch Tokens موحّدة، وكيخرج تمثيلات مفهومة بحال موقع التلامس والقوة والاتجاه.
استراتيجية التدريب اللاحق: ملي كتدرّب موديل الحركة، بحال π0.5 أو Diffusion Policy، دخل خصائص LingBot-Touch المجمّدة كمدخل إضافي فالتدريب اللاحق، بلا ما تحتاج تبدّل بارامترات الموديل.
النشر والاستدلال: نشّر السياسة المدرّبة على روبوت حقيقي، وغادي يخدم LingBot-Touch فالحين كمشفّر مجمّد، مع زيادة غير حوالي 0.13%–0.16% فعدد البارامترات.

توحيد البيانات المختلفة: كيرمّز إشارات الحساسات المختلفة بزاف، بحال اللمس المغناطيسي والبصري والمقاومة الضغطية، فـ Tokens موحّدة، وكيحل مشكل أن بيانات اللمس ما كتتوافقش مع بعضها وأن تغيير اليد كيعني البدء من جديد.
الانتقال بين العتاد بلا أمثلة: حتى إلا ما ظهرش الحساس من قبل فبيانات التدريب المسبق، بحال XHand، وحتى إلا ما تبدّل حتى بارامتر، كتطلع نسبة النجاح من 48% إلى 74.17%، وكتولي تجربة عتاد واحد نقطة انطلاق للروبوت الموالي.
التركيب والاستعمال مباشرة مع تدخل قليل: باعتبارو مشفّرا مجمّدا، كيقدر يتركّب مباشرة مع موديلات الحركة المعروفة بحال π0.5 وDiffusion Policy، مع زيادة غير 0.13%–0.16% فعدد البارامترات، وبلا ما يعرقل البنية الأصلية للموديل.
خفيف وفعّال بزاف: أصغر نسخة، HaT-Tiny، فيها غير حوالي 546万 بارامتر، وكتدعم الاستدلال الفوري بتردد عالي، باش تلبي الحاجة لاستجابة فمستوى الميلي ثانية فالعمليات الدقيقة باليد الروبوتية.
دقة متفوّقة بزاف: خطأ تحديد مركز التلامس غير 0.12–0.16 ميليمتر، وأحسن بزاف من FTP-1 اللي كيسجّل 2.19–5.89 ميليمتر، مع العلم أن FTP-1 كيحتاج حتى هو لمحوّل خاص بكل يد.
تكلفة وسم منخفضة بزاف: بيانات التدريب المسبق خاصها غير وسم فئة المهمة، وما كتحتاجش وسم مقدار القوة. و2/3 من البيانات جاية من جمعها باستعمال القفازات، وهاد الشي كيهبّط بزاف عتبة الحصول على بيانات اللمس.

الموقع الرسمي للمشروع: https://technology.robbyant.com/lingbot-touch
مستودع GitHub: https://github.com/Robbyant/lingbot-touch
مستودع موديلات HuggingFace: https://huggingface.co/collections/robbyant/lingbot-touch
الورقة التقنية: https://arxiv.org/pdf/2611.12806

الفرز فالتجارة بالتقسيط: فالصيدليات والحوانت وغيرها، كيشدّ منتجات بأحجام وأشكال مختلفة، وكيستعمل لمس أطراف الأصابع باش يحدّد قوة الإمساك وواش كاين انزلاق، وكيقلّل من تلف السلع.
الفرز فاللوجستيك: ملي كيفرز التغليفات اللينة والمنتجات القابلة للكسر، بحال السلع فالأكياس أو السوائل فالقراعي، كيعتمد على اللمس باش يحس بتشوّه الطرد والحركة اللي داخلو، وكيحقق الإمساك والوضع بشكل مستقر.
التجميع الصناعي: كينفّذ عمليات دقيقة بحال الإدخال والإخراج، البرم والمحاذاة، بحال سدّ القراعي وإدخال المفتاح وفتح الباب، وكيستمر فالإحساس بتغيّر المقاومة خلال مرحلة التلامس حتى ملي كتكون الرؤية محجوبة بالكاميرا.
عمليات المطاعم والمشروبات: كينفّذ مهام دقيقة بحال إدخال الشفاطة، عصر معجون الأسنان، وإغلاق الأكياس، وكيحس بالتغيّر المفاجئ فالقوة لحظة اختراق الغشاء، باش يتفادى الفشل بسبب القوة الزايدة.