UnifoLM-WLA-1.0 운영 중

UnifoLM-WLA-1.0은 유니트리 로보틱스가 개발한 6B 체화 멀티모달 대규모 모델로, 약 2,500시간의 실제 로봇 데이터를 기반으로 학습되었습니다. 시각, 언어, 동작을 통합 모델링하며, 하나의 모델로 데스크톱 및 전신 이동 조작 작업 64가지를 수행합니다. 약 4B 규모의 UnifoLM-ER-1 지각·추론 모델과 ER-Flow 동작 모델의 가중치가 공개되었습니다. ER-Flow는 미래 동적 예측과 이산 동작 학습을 결합하며, 전체 시스템과 후속 학습 코드는 순차적으로 공개될 예정입니다.

체화 지각 및 추론: 물체의 위치, 공간 관계, 조작 가능한 영역을 인식하고 ‘목표는 어디에 있는가’, ‘물체 간 관계는 무엇인가’와 같은 질문에 답해 조작 의사결정에 필요한 지각 정보를 제공합니다.
시각·언어·동작 통합 실행: 작업 지시를 로봇이 실행할 수 있는 동작으로 직접 변환합니다. 하나의 모델로 데스크톱 작업 54가지와 전신 이동 조작 10가지를 수행하므로 작업별로 별도의 정책을 학습할 필요가 없습니다.
상호작용 결과 예측: 동작 실행 전에 조작으로 인해 발생할 장면 변화를 예측하여 무효 시도를 줄입니다.
전신 협응 조작: 상지 조작과 하지 이동을 통합 제어하며, 침대 정리, 옷 개기, 쓰레기 버리기처럼 이동과 조작의 협력이 필요한 복합 작업을 수행할 수 있습니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈소스 프로젝트交流群에 참여하세요.
통합 VLA 아키텍처: 시각·언어 모델을 기반으로 이미지, 언어 지시, 동작을 하나의 모델에서 공동 모델링합니다. 약 2,500시간의 실제 로봇 데이터를 사용해 6B 파라미터 모델을 엔드투엔드로 학습하여, 지각·계획·제어를 여러 모듈로 나눌 때 발생하는 오차 누적을 방지합니다.
이산 동작 표현: RVQ를 통해 통합 동작 공간의 말단 자세, 덱스터러스 핸드 관절, 하지 관절을 각각 동작 토큰으로 이산화합니다. 이를 통해 연속 제어 문제를 언어 모델이 잘 처리하는 토큰 예측 문제로 변환하고, 시각·텍스트 정보와 동일한 시퀀스에서 처리합니다.
미래 동적 예측(ER-Flow 계층): 마스크 토큰 메커니즘을 도입해 추론 시 동작 토큰과 미래 동적 영역 토큰을 동시에 예측합니다. 모델이 ‘동작하기 전에’ 조작으로 인한 장면 변화를 먼저 상상한 뒤 이를 바탕으로 동작 시퀀스를 생성하여 지각과 행동을 폐루프 방식으로 결합합니다.
계층형 모델 설계: ER-1은 하위 지각·추론을 담당하고, ER-Flow는 그 위에 동작 모델링을 추가합니다. 두 모델은 WLA 시스템의 지각 기반과 중간 계층을 구성하며, 완전한 6B 시스템은 이를 바탕으로 후속 학습을 거쳐 전신 조작 능력을 통합합니다.

코드 받기: 프로젝트 홈페이지 unigen-x.github.io/unifolm-wla.github.io 또는 GitHub 저장소 unitreerobotics/unifolm-wla에 접속한 뒤, README에 따라 코드를 복제하고 의존 환경을 설치합니다.
가중치 다운로드: HuggingFace에서 공개된 UnifoLM-ER-1 및 UnifoLM-ER-Flow 두 모델의 가중치를 내려받습니다. huggingface-cli download 명령을 사용할 수 있습니다.
추론 예제 실행: 먼저 프로젝트에서 제공하는 추론 스크립트로 ER-1을 불러옵니다. 로봇의 현재 화면과 작업 설명을 입력해 목표 위치 파악, 공간 관계 이해 등의 지각·추론 출력이 정상인지 확인합니다.
동작 예측 연동: ER-Flow를 불러와 현재 이미지, 작업 지시, 후보 동작을 입력하면 모델이 이산 동작 토큰과 미래 동적 영역 예측을 출력합니다. 공식적으로 제공되는 RVQ 디코딩 방식에 따라 이를 연속 제어 신호로 복원해야 합니다.
실제 로봇 제어 적용: 디코딩한 동작 지시를 유니트리 G1/H1 등 로봇의 모션 제어 인터페이스에 연결합니다. 가중치 자체에는 완전한 로봇 제어 시스템이 포함되어 있지 않으므로, 시뮬레이션 또는 실제 로봇에서 소규모로 검증한 후 배포해야 합니다.

하나의 모델로 여러 작업 수행: 6B 파라미터만으로 데스크톱 조작 54가지와 전신 이동 조작 10가지, 총 64개 작업을 수행합니다. 작업별로 별도의 정책을 학습할 필요가 없어 일반화 성능이 뛰어납니다.
풍부한 실제 로봇 데이터: 순수 시뮬레이션 데이터가 아니라 약 2,500시간의 실제 로봇 조작 데이터로 학습되어 동작 출력이 실제 로봇의 동역학 특성에 더 가깝습니다.
강력한 지각 기반 성능: 하위 ER-1 모델은 Qwen3-VL-4B를 기반으로 500만 개 이상의 샘플을 사용해 강화 학습되었으며, RefSpatial-Bench를 비롯한 7개 오픈소스 모델 평가에서 모두 1위를 기록했습니다.
예측 후 행동: ER-Flow는 마스크 토큰을 통해 조작으로 발생할 미래 장면 변화를 예측합니다. 동작의 결과를 먼저 상상한 뒤 실행하여 무효 시도와 충돌 위험을 줄입니다.
전신 통합 제어: RVQ가 덱스터러스 핸드, 말단 자세, 하지 관절을 통합 동작 토큰으로 인코딩하여 하나의 모델에서 상지 조작과 하지 이동을 협력적으로 결정합니다.

프로젝트 공식 웹사이트: https://unigen-x.github.io/unifolm-wla.github.io/
GitHub 저장소: https://github.com/unitreerobotics/unifolm-wla
HuggingFace 모델 저장소: https://huggingface.co/unitreerobotics/UnifoLM-ER-Flow
https://huggingface.co/unitreerobotics/UnifoLM-ER-1

가정 서비스: 옷 개기, 침대 정리, 쓰레기 버리기 등 일상적인 집안일을 수행하며, 발표회에서 중점적으로 시연된 핵심 시나리오입니다.
산업 제조: 생산 라인에서 부품 집기, 공구 전달, 간단한 조립 등 반복적인 조작 작업을 수행합니다.
물류 및 창고: 이동과 조작의 협력이 필요한 상품 분류, 소포 운반, 선반 정리 등의 창고 작업을 수행합니다.
연구 및 교육: 완전 오픈소스 엔드투엔드 VLA 기반으로서 대학과 연구실에서 체화 지능 알고리즘을 연구하고 체화 추론 데이터를 학습하는 데 활용할 수 있습니다.
상업 안내 및 서비스: 전시장, 쇼핑몰 등에서 안내, 물품 전달과 같은 대인 상호작용형 서비스 작업을 수행합니다.