UnifoLM-WLA-1.0 Đang hoạt động

UnifoLM-WLA-1.0 là mô hình đa phương thức hiện thân 6B do Unitree Robotics phát triển, được huấn luyện trên khoảng 2.500 giờ dữ liệu từ robot thực tế, thống nhất mô hình hóa thị giác, ngôn ngữ và hành động, đồng thời điều phối 64 nhiệm vụ thao tác trên bàn và di chuyển toàn thân bằng một mô hình duy nhất. Mô hình đã công khai trọng số của mô hình nhận thức-suy luận UnifoLM-ER-1 khoảng 4B và mô hình lập mô hình hành động ER-Flow. Mô hình sau kết hợp dự đoán động lực tương lai với học hành động rời rạc; hệ thống hoàn chỉnh và mã hậu huấn luyện sẽ lần lượt được công khai.

Nhận thức và suy luận hiện thân: nhận diện vị trí vật thể, quan hệ không gian và khu vực có thể thao tác, trả lời các câu hỏi như “mục tiêu ở đâu, các vật thể có quan hệ gì”, cung cấp nền tảng nhận thức cho việc ra quyết định thao tác.
Thực thi thống nhất thị giác-ngôn ngữ-hành động: ánh xạ trực tiếp chỉ thị nhiệm vụ thành hành động có thể thực thi bởi robot; một mô hình duy nhất điều phối 54 nhiệm vụ trên bàn và 10 nhiệm vụ thao tác di chuyển toàn thân, không cần huấn luyện chính sách riêng cho từng nhiệm vụ.
Dự đoán kết quả tương tác: dự đoán những thay đổi của khung cảnh do thao tác gây ra trước khi thực thi, giảm các lần thử không hiệu quả.
Thao tác phối hợp toàn thân: bao quát điều khiển tổng thể giữa thao tác bằng chi trên và di chuyển bằng chi dưới, có thể hoàn thành các nhiệm vụ phức hợp cần phối hợp di chuyển và thao tác như trải giường, gấp quần áo, đổ rác.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc VLA thống nhất: lấy mô hình thị giác-ngôn ngữ làm backbone, đưa hình ảnh, chỉ thị ngôn ngữ và hành động vào cùng một mô hình để đồng thời mô hình hóa; huấn luyện end-to-end mô hình 6B tham số bằng khoảng 2.500 giờ dữ liệu robot thực tế, tránh tích lũy sai số do tách riêng các mô-đun nhận thức, lập kế hoạch và điều khiển.
Biểu diễn hành động rời rạc: sử dụng RVQ để thống nhất không gian hành động; tư thế đầu cuối, khớp bàn tay linh hoạt và khớp chi dưới lần lượt được rời rạc hóa thành các action token, chuyển bài toán điều khiển liên tục thành bài toán dự đoán token vốn là thế mạnh của mô hình ngôn ngữ, đồng thời xử lý cùng với thông tin thị giác và văn bản trong một chuỗi.
Dự đoán động lực tương lai (lớp ER-Flow): đưa vào cơ chế token mặt nạ, đồng thời dự đoán action token và token vùng động lực tương lai trong quá trình suy luận, giúp mô hình “tưởng tượng” trước những thay đổi của khung cảnh do thao tác gây ra trước khi hành động, sau đó tạo chuỗi hành động, qua đó kết hợp khép kín nhận thức và hành động.
Thiết kế mô hình phân tầng: ER-1 phụ trách nhận thức và suy luận cấp thấp; ER-Flow bổ sung mô hình hóa hành động trên nền tảng đó. Hai mô hình tạo thành nền tảng nhận thức và lớp trung gian của hệ thống WLA; hệ thống 6B hoàn chỉnh tiếp tục tích hợp và thực hiện hậu huấn luyện để đạt khả năng thao tác toàn thân.

Lấy mã nguồn: truy cập trang dự án unigen-x.github.io/unifolm-wla.github.io hoặc kho GitHub unitreerobotics/unifolm-wla, làm theo README để sao chép mã nguồn và cài đặt môi trường phụ thuộc.
Tải trọng số: tải từ HuggingFace trọng số của hai mô hình đã được công khai là UnifoLM-ER-1 và UnifoLM-ER-Flow bằng lệnh huggingface-cli download.
Chạy thử ví dụ suy luận: trước tiên dùng script suy luận do dự án cung cấp để tải ER-1, nhập hình ảnh hiện tại của robot và mô tả nhiệm vụ, kiểm tra đầu ra nhận thức-suy luận như định vị mục tiêu và hiểu quan hệ không gian.
Tích hợp dự đoán hành động: tải ER-Flow, nhập hình ảnh hiện tại + chỉ thị nhiệm vụ + hành động ứng viên; mô hình sẽ xuất action token rời rạc và dự đoán vùng động lực tương lai. Cần khôi phục chúng thành tín hiệu điều khiển liên tục theo phương thức giải mã RVQ do dự án cung cấp.
Thích ứng với điều khiển robot thực tế: kết nối chỉ thị hành động sau giải mã vào giao diện điều khiển chuyển động của các robot như Unitree G1 / H1, đồng thời kiểm thử quy mô nhỏ trong mô phỏng hoặc trên robot thực tế trước khi triển khai, vì bản thân trọng số không bao gồm hệ thống điều khiển robot hoàn chỉnh.

Một mô hình, nhiều nhiệm vụ: chỉ với 6B tham số, mô hình điều phối tổng cộng 64 nhiệm vụ gồm 54 thao tác trên bàn và 10 thao tác di chuyển toàn thân, không cần huấn luyện chính sách riêng cho từng nhiệm vụ, với khả năng khái quát hóa hàng đầu.
Dữ liệu robot thực tế vững chắc: được huấn luyện trên khoảng 2.500 giờ dữ liệu thao tác từ robot thực tế thay vì chỉ dùng dữ liệu mô phỏng, nên đầu ra hành động phù hợp hơn với đặc tính động lực học của robot thực.
Nền tảng nhận thức có hiệu năng mạnh: mô hình ER-1 cấp thấp dựa trên Qwen3-VL-4B và được huấn luyện tăng cường bằng hơn 5 triệu mẫu, đạt vị trí đầu tiên trong cả 7 bài đánh giá mô hình mã nguồn mở như RefSpatial-Bench.
“Dự đoán trước” rồi mới hành động: ER-Flow dự đoán các thay đổi của khung cảnh tương lai do thao tác gây ra thông qua token mặt nạ, hình dung hậu quả của hành động trước khi thực thi, giảm các lần thử không hiệu quả và rủi ro va chạm.
Điều khiển toàn thân thống nhất: RVQ mã hóa bàn tay linh hoạt, tư thế đầu cuối và khớp chi dưới thành các action token thống nhất, cho phép ra quyết định phối hợp giữa thao tác bằng chi trên và di chuyển bằng chi dưới trong cùng một mô hình.

Trang web dự án: https://unigen-x.github.io/unifolm-wla.github.io/
Kho GitHub: https://github.com/unitreerobotics/unifolm-wla
Kho mô hình HuggingFace: https://huggingface.co/unitreerobotics/UnifoLM-ER-Flow
https://huggingface.co/unitreerobotics/UnifoLM-ER-1

Dịch vụ gia đình: thực hiện các công việc nhà hằng ngày như gấp quần áo, trải giường và đổ rác; đây là kịch bản cốt lõi được trình diễn trọng điểm tại buổi ra mắt.
Sản xuất công nghiệp: thực hiện các nhiệm vụ thao tác lặp lại trên dây chuyền như gắp linh kiện, chuyển dụng cụ và lắp ráp đơn giản.
Logistics và kho bãi: thực hiện các công việc kho cần phối hợp di chuyển và thao tác như phân loại hàng hóa, vận chuyển bưu kiện và sắp xếp kệ hàng.
Nghiên cứu và giáo dục: làm nền tảng VLA end-to-end hoàn toàn mã nguồn mở, phục vụ các trường đại học và phòng thí nghiệm nghiên cứu thuật toán trí tuệ hiện thân và huấn luyện dữ liệu suy luận hiện thân.
Hướng dẫn và dịch vụ thương mại: thực hiện các nhiệm vụ dịch vụ tương tác với con người như hướng dẫn và giao vật phẩm tại phòng triển lãm, trung tâm thương mại và những địa điểm khác.