LingBot-Touch Đang hoạt động

LingBot-Touch là mô hình nền tảng tiền huấn luyện xúc giác mã nguồn mở do Ant Ling phát triển, đóng vai trò như bộ chuyển đổi giữa cảm biến xúc giác và mô hình hành động robot. LingBot-Touch mã hóa thống nhất tín hiệu từ các cảm biến dị thể như xúc giác từ tính, xúc giác thị giác và áp điện trở thành các Token xúc giác, xuất ra những đặc trưng mà mô hình hành động có thể hiểu, chẳng hạn như vị trí tiếp xúc, độ lớn và hướng của lực, qua đó giải quyết vấn đề việc đưa trực tiếp tín hiệu thô vào mô hình lại làm giảm tỷ lệ thành công. LingBot-Touch được huấn luyện theo hướng JEPA, sử dụng một backbone Transformer xúc giác dùng chung, chỉ có khoảng 5 triệu tham số. Mô hình đã được chứng minh hiệu quả trên 26 nhiệm vụ với robot thật, có thể chuyển giao zero-shot sang các cảm biến chưa từng thấy, hoàn thiện mắt xích quan trọng giữa giai đoạn thị giác phụ trách trước khi tiếp xúc và xúc giác phụ trách sau khi tiếp xúc.

Mã hóa thống nhất tín hiệu dị thể: Dịch tín hiệu thô từ ba loại cảm biến gồm xúc giác từ tính, xúc giác thị giác và áp điện trở thành các Token xúc giác được chuẩn hóa, giúp mô hình hành động hiểu dữ liệu xúc giác ở các định dạng khác nhau.
Cảm nhận trạng thái tiếp xúc: Phân tích vị trí tiếp xúc, độ lớn của lực và sự thay đổi hướng theo thời gian từ tín hiệu xúc giác, giúp robot biết rõ “ngón tay chạm vào đâu, dùng lực bao nhiêu và có bị trượt hay không”.
Chuyển giao giữa các phần cứng: Sử dụng không gian tọa độ thống nhất kết hợp kiến trúc backbone dùng chung, có thể chuyển sang các cảm biến và bố trí bàn tay khéo léo chưa từng thấy mà không cần huấn luyện lại.
Tích hợp即插即用: Là bộ mã hóa đặc trưng đóng băng, có thể gắn trực tiếp vào các mô hình hành động phổ biến như π0.5, Diffusion Policy và T-Rex, chỉ làm tăng khoảng 0.13%–0.16% số tham số.
Suy luận tần số cao, hiệu quả: Phiên bản nhỏ nhất HaT-Tiny chỉ có khoảng 546万 tham số, hỗ trợ suy luận thời gian thực ở tần số cao, đáp ứng yêu cầu thời gian thực của thao tác khéo léo.
Nâng cao tỷ lệ thành công thao tác: Trên 26 nhiệm vụ với robot thật, tỷ lệ thành công trung bình tăng tối đa hơn 20 điểm phần trăm, đặc biệt phù hợp với các thao tác tinh vi có mật độ tiếp xúc cao như kéo khóa, vặn nắp chai và cắm ống hút.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Cơ chế giao diện hình học chuẩn hóa và địa chỉ Token: Để xử lý sự khác biệt rất lớn về số lượng và cách bố trí điểm tiếp xúc giữa các cảm biến, trước tiên mô hình ánh xạ tất cả điểm tiếp xúc vào một không gian tọa độ đầu ngón tay chuẩn hóa thống nhất, đồng thời gán cho mỗi Token một “địa chỉ” gồm thời gian, số ngón tay và vị trí ba chiều. Địa chỉ này được đưa vào mô hình thông qua mã hóa vị trí xoay (RoPE), loại bỏ sự phụ thuộc vào số lượng và bố cục điểm tiếp xúc cố định, tạo ra đầu vào có thể mở rộng theo dạng “địa chỉ hóa”.
Kiến trúc hỗn hợp với các đầu vào riêng và backbone chung: Mô hình thiết kế riêng các Tokenizer chuyên dụng nhẹ cho ba nguyên lý cảm biến, chịu trách nhiệm chuyển đổi số đọc thô thành Token để hấp thụ khác biệt phần cứng giữa các cảm biến. Sau đó, tất cả Token được đưa vào backbone Transformer xúc giác dùng chung, cho phép các quy luật vật lý tiếp xúc từ những nguồn khác nhau được học kết hợp trong cùng một không gian tiềm ẩn.
Dự đoán không gian đặc trưng dựa trên JEPA: Do phần lớn thời gian tín hiệu xúc giác có giá trị “0” và mô hình dễ đi theo lối tắt “học tốt phần nền”, trong quá trình huấn luyện, 90% điểm tiếp xúc được che ngẫu nhiên và duy trì che trong toàn bộ đoạn dữ liệu. Mô hình chỉ dựa trên 10% tín hiệu còn nhìn thấy để dự đoán biểu diễn tiềm ẩn của phần bị che trong không gian đặc trưng, buộc mô hình học thông tin tiếp xúc thực sự.
Nhiễu điểm tiếp xúc để ngăn ghi nhớ bố cục: Vì dữ liệu tiền huấn luyện chỉ bao phủ ba bố cục cảm biến, mô hình có thể ghi nhớ trực tiếp vị trí điểm tiếp xúc. Do đó, trong quá trình huấn luyện, mật độ lấy mẫu điểm tiếp xúc được thay đổi ngẫu nhiên và vị trí của từng điểm được nhiễu nhẹ, tạo ra bố cục thứ tư nhân tạo để bảo đảm mô hình học được biểu diễn vật lý tiếp xúc có khả năng chuyển giao.

Lấy mô hình: Tải báo cáo kỹ thuật, mã nguồn và trọng số mô hình mã nguồn mở từ GitHub, Hugging Face hoặc ModelScope.
Kết nối cảm biến: Đưa tín hiệu thô từ cảm biến xúc giác từ tính, xúc giác thị giác hoặc áp điện trở trên bàn tay khéo léo hiện có vào mô hình, không cần thay phần cứng hay điều chỉnh bản thân cảm biến.
Mã hóa đặc trưng: LingBot-Touch mã hóa tín hiệu thô thành các Token xúc giác được chuẩn hóa, xuất ra biểu diễn có thể hiểu được về vị trí tiếp xúc, lực tác động, hướng và các thông tin khác.
Chiến lược hậu huấn luyện: Khi huấn luyện mô hình hành động như π0.5 hoặc Diffusion Policy, sử dụng đặc trưng LingBot-Touch đã đóng băng làm đầu vào bổ sung để hậu huấn luyện cùng mô hình, không cần thay đổi tham số mô hình.
Triển khai suy luận: Triển khai chính sách đã huấn luyện lên robot thật. LingBot-Touch chạy theo thời gian thực dưới dạng bộ mã hóa đóng băng, chỉ làm tăng khoảng 0.13%–0.16% số tham số.

Thống nhất dữ liệu dị thể: Mã hóa thống nhất tín hiệu từ các cảm biến có định dạng rất khác nhau như xúc giác từ tính, xúc giác thị giác và áp điện trở thành các Token được chuẩn hóa, giải quyết bài toán dữ liệu xúc giác không thể dùng chung và phải bắt đầu lại từ đầu khi đổi sang một bàn tay khác.
Chuyển giao zero-shot giữa các phần cứng: Ngay cả khi cảm biến chưa từng xuất hiện trong dữ liệu tiền huấn luyện, chẳng hạn XHand, và không thay đổi bất kỳ tham số nào, tỷ lệ thành công vẫn tăng từ 48% lên 74.17%, biến kinh nghiệm từ một phần cứng thành điểm khởi đầu cho robot tiếp theo.
Tích hợp即插即用, ít xâm lấn: Là bộ mã hóa đóng băng, mô hình có thể gắn trực tiếp vào các mô hình hành động phổ biến như π0.5 và Diffusion Policy, chỉ làm tăng 0.13%–0.16% số tham số và không ảnh hưởng đến kiến trúc mô hình hiện có.
Nhẹ và hiệu quả vượt trội: Phiên bản nhỏ nhất HaT-Tiny chỉ có khoảng 546万 tham số, hỗ trợ suy luận thời gian thực ở tần số cao, đáp ứng nhu cầu phản hồi ở cấp mili giây của thao tác khéo léo.
Độ chính xác vượt trội: Sai số xác định tâm tiếp xúc chỉ 0.12–0.16 mm, tốt hơn nhiều so với 2.19–5.89 mm của FTP-1, trong khi FTP-1 còn cần trang bị bộ chuyển đổi riêng cho từng bàn tay.
Chi phí gán nhãn cực thấp: Dữ liệu tiền huấn luyện chỉ cần gán nhãn loại nhiệm vụ, không cần gán nhãn độ lớn của lực; 2/3 dữ liệu được thu thập bằng găng tay, giúp giảm đáng kể ngưỡng thu thập dữ liệu xúc giác.

Trang web dự án: https://technology.robbyant.com/lingbot-touch
Kho GitHub: https://github.com/Robbyant/lingbot-touch
Kho mô hình HuggingFace: https://huggingface.co/collections/robbyant/lingbot-touch
Bài báo kỹ thuật: https://arxiv.org/pdf/2611.12806

Phân loại bán lẻ: Gắp các sản phẩm có kích thước và hình dạng khác nhau tại nhà thuốc, cửa hàng tiện lợi và các bối cảnh khác; sử dụng xúc giác đầu ngón tay để phán đoán lực gắp và tình trạng trượt, giảm tỷ lệ hư hỏng sản phẩm.
Phân loại logistics: Khi phân loại bao bì mềm và hàng dễ vỡ như vật phẩm đóng túi hoặc chất lỏng đóng chai, cảm nhận biến dạng của kiện hàng và sự dao động bên trong bằng xúc giác để gắp và đặt ổn định.
Lắp ráp công nghiệp: Thực hiện các thao tác lắp ráp chính xác như cắm rút, vặn xoắn và căn chỉnh, chẳng hạn vặn nắp chai hoặc cắm chìa khóa để mở khóa; liên tục cảm nhận sự thay đổi lực cản trong giai đoạn tiếp xúc khi tầm nhìn của camera bị che khuất.
Thao tác ăn uống/đồ uống: Thực hiện các nhiệm vụ tinh vi như cắm ống hút, bóp kem đánh răng và đóng túi; cảm nhận sự thay đổi lực đột ngột khi màng bị chọc thủng, tránh dùng lực quá mạnh gây thất bại.