UnifoLM-WLA-1.0 Inafanya kazi

UnifoLM-WLA-1.0 ni modeli kubwa ya aina nyingi yenye uwezo wa kuhusika na mazingira ya mwili yenye vigezo bilioni 6, iliyotengenezwa na Unitree Robotics. Imefunzwa kwa takribani saa 2,500 za data kutoka kwa roboti halisi, ikiunganisha uoni, lugha na vitendo katika modeli moja, na kuratibu kazi 64 za uendeshaji wa mezani na wa mwili mzima unaohusisha kusogea. Uzito wa modeli ya takribani vigezo bilioni 4 ya UnifoLM-ER-1 ya utambuzi na uelekezaji pamoja na modeli ya ER-Flow ya uundaji wa vitendo umetolewa kama chanzo huria. ER-Flow inaunganisha utabiri wa mienendo ya baadaye na ujifunzaji wa vitendo vilivyodiscretishwa. Mfumo kamili na msimbo wa mafunzo ya baadae utatolewa hatua kwa hatua.

Utambuzi na uelekezaji unaohusisha mwili: Hutambua mahali vitu vilipo, uhusiano wa anga na maeneo yanayoweza kufanyiwa kazi, na kujibu maswali kama “Lengo liko wapi na vitu vina uhusiano gani?”, hivyo kutoa msingi wa utambuzi kwa maamuzi ya uendeshaji.
Utekelezaji uliounganishwa wa uoni-lugha-vitendo: Hubadilisha maagizo ya kazi moja kwa moja kuwa vitendo vinavyoweza kutekelezwa na roboti. Modeli moja huratibu kazi 54 za mezani na kazi 10 za uendeshaji wa mwili mzima unaohusisha kusogea, bila kuhitaji kufunza mkakati tofauti kwa kila kazi.
Utabiri wa matokeo ya mwingiliano: Hutabiri mabadiliko ya eneo yanayosababishwa na uendeshaji kabla ya kutekeleza kitendo, na hivyo kupunguza majaribio yasiyo na tija.
Uendeshaji ulioratibiwa wa mwili mzima: Hudhibiti kwa pamoja uendeshaji wa viungo vya juu na usogezaji wa viungo vya chini, na inaweza kutekeleza kazi changamano zinazohitaji usogezaji na uendeshaji, kama kutandika kitanda, kukunja nguo na kumwaga taka.

Fuata akaunti ya WeChat na ujibu “开源” ili ujiunge na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Muundo wa VLA uliounganishwa: Modeli ya uoni na lugha hutumika kama msingi, huku picha, maagizo ya lugha na vitendo vikiundwa kwa pamoja ndani ya modeli moja. Modeli yenye vigezo bilioni 6 ilifunzwa kutoka mwanzo hadi mwisho kwa takribani saa 2,500 za data ya roboti halisi, hivyo kuepuka mkusanyiko wa makosa unaosababishwa na kugawa utambuzi, upangaji na udhibiti katika moduli tofauti.
Uwakilishi wa vitendo vilivyodiscretishwa: RVQ hutenganisha nafasi ya vitendo iliyounganishwa, na kubadilisha mkao wa mwisho, viungo vya mkono wenye ustadi na viungo vya miguu kuwa tokeni za vitendo. Hivyo, tatizo la udhibiti endelevu hubadilishwa kuwa tatizo la kutabiri tokeni, ambalo modeli za lugha hulimudu vizuri, huku taarifa za uoni na maandishi zikishughulikiwa katika mfululizo mmoja.
Utabiri wa mienendo ya baadaye (tabaka la ER-Flow): Huweka utaratibu wa tokeni zilizofichwa. Wakati wa uelekezaji, hutabiri kwa pamoja tokeni za vitendo na tokeni za maeneo ya mienendo ya baadaye, ili modeli ianze kufikiria mabadiliko ya eneo yanayosababishwa na uendeshaji “kabla ya kutenda”, kisha itengeneze mfululizo wa vitendo kulingana na utabiri huo, na kuunganisha utambuzi na utekelezaji katika mzunguko mmoja.
Muundo wa modeli wa tabaka: ER-1 hushughulikia utambuzi na uelekezaji wa kiwango cha chini, huku ER-Flow ikiongeza uundaji wa vitendo juu yake. Kwa pamoja huunda msingi wa utambuzi na tabaka la kati la mfumo wa WLA, na mfumo kamili wenye vigezo bilioni 6 hupata uwezo wa kuendesha mwili mzima baada ya mafunzo ya baadae.

kupata msimbo: Tembelea ukurasa wa mradi unigen-x.github.io/unifolm-wla.github.io au hazina ya GitHub unitreerobotics/unifolm-wla, kisha fuata README ili kuiga msimbo na kusakinisha mazingira tegemezi.
Pakua uzito wa modeli: Pakua kutoka HuggingFace uzito wa modeli zilizotolewa za UnifoLM-ER-1 na UnifoLM-ER-Flow ukitumia amri ya huggingface-cli download.
Endesha mfano wa uelekezaji: Tumia kwanza hati ya uelekezaji iliyotolewa na mradi kupakia ER-1, kisha ingiza picha ya sasa ya roboti na maelezo ya kazi ili kuthibitisha kuwa matokeo ya utambuzi na uelekezaji, kama kutafuta lengo na kuelewa uhusiano wa anga, yanafanya kazi ipasavyo.
Unganisha utabiri wa vitendo: Pakia ER-Flow, kisha ingiza picha ya sasa + maagizo ya kazi + vitendo vinavyowezekana. Modeli itatoa tokeni za vitendo vilivyodiscretishwa na utabiri wa maeneo ya mienendo ya baadaye; tumia mbinu rasmi ya dekodi ya RVQ kuzirejesha kuwa ishara endelevu za udhibiti.
Rekebisha kwa udhibiti wa roboti halisi: Unganisha maagizo ya vitendo yaliyodekodishwa kwenye kiolesura cha udhibiti wa mwendo cha roboti kama Unitree G1 / H1, na uyathibitishe kwa kiwango kidogo katika uigaji au kwenye roboti halisi kabla ya kusambaza, kwa kuwa uzito wa modeli wenyewe haujumuishi mfumo kamili wa udhibiti wa roboti.

Modeli moja, kazi nyingi: Modeli yenye vigezo bilioni 6 huratibu kazi 54 za mezani na kazi 10 za uendeshaji wa mwili mzima unaohusisha kusogea, jumla ya kazi 64, bila kuhitaji kufunza mkakati tofauti kwa kila kazi, na hivyo kuwa na uwezo bora wa kujumlisha.
Data thabiti ya roboti halisi: Imefunzwa kwa takribani saa 2,500 za data ya uendeshaji wa roboti halisi badala ya data ya uigaji pekee, hivyo vitendo vinavyotolewa vinaendana zaidi na sifa halisi za mienendo ya roboti.
Utendaji thabiti wa msingi wa utambuzi: Modeli ya chini ya ER-1 inategemea Qwen3-VL-4B na imeimarishwa kwa mafunzo kwa kutumia zaidi ya sampuli milioni 5. Imeshika nafasi ya kwanza katika tathmini zote 7 za modeli huria, zikiwemo RefSpatial-Bench.
Hutabiri kabla ya kutenda: ER-Flow hutumia tokeni zilizofichwa kutabiri mabadiliko ya eneo la baadaye yanayosababishwa na uendeshaji, ikifikiria kwanza matokeo ya kitendo kabla ya kukitekeleza, na hivyo kupunguza majaribio yasiyo na tija na hatari ya kugongana.
Udhibiti uliounganishwa wa mwili mzima: RVQ husimba mkono wenye ustadi, mkao wa mwisho na viungo vya miguu kuwa tokeni za vitendo zilizounganishwa, na kuwezesha maamuzi yaliyoratibiwa ya uendeshaji wa viungo vya juu na usogezaji wa viungo vya chini ndani ya modeli moja.

Tovuti rasmi ya mradi: https://unigen-x.github.io/unifolm-wla.github.io/
Hazina ya GitHub: https://github.com/unitreerobotics/unifolm-wla
Hazina ya modeli ya HuggingFace: https://huggingface.co/unitreerobotics/UnifoLM-ER-Flow
https://huggingface.co/unitreerobotics/UnifoLM-ER-1

Huduma za nyumbani: Hufanya kazi za kila siku kama kukunja nguo, kutandika kitanda na kumwaga taka, ikiwa ni tukio kuu lililoonyeshwa katika uzinduzi.
Utengenezaji wa viwandani: Hutekeleza kazi zinazorudiwa kwenye laini za uzalishaji, kama kushika vipengele, kupeleka zana na kufanya uunganishaji rahisi.
Usafirishaji na uhifadhi: Hufanya kazi za ghala zinazohitaji kusogea na uendeshaji kwa pamoja, kama kupanga bidhaa, kubeba vifurushi na kupanga rafu.
Utafiti na elimu: Kama msingi wa VLA wa mwisho hadi mwisho ulio wazi kikamilifu, hutumiwa na vyuo vikuu na maabara kutafiti algoriti za akili inayohusisha mwili na kufunza data ya uelekezaji unaohusisha mwili.
Uelekezaji na huduma za kibiashara: Hutekeleza kazi za huduma zinazoingiliana na watu, kama kuwaelekeza wageni na kupeleka vitu katika kumbi za maonyesho, maduka makubwa na maeneo mengine.