Qwen-CUA – Computer Use Agent asilia iliyozinduliwa na Alibaba Qwen na wengine Inafanya kazi

Qwen-CUA ni Computer Use Agent asilia iliyotengenezwa kwa pamoja na timu ya Qwen na XLang Lab, ikitegemea usanifu wa wataalamu mchanganyiko wa 397B-A17B. Hutambua hali ya kiolesura kupitia picha za skrini pekee, bila kutegemea mti wa DOM au metadata ya ufikivu, na hutumia matukio ya kibodi na kipanya moja kwa moja kudhibiti vivinjari, programu za kompyuta za mezani na programu maalumu. Ilipata alama 86.2 katika kipimo cha OSWorld-Verified, huku toleo kubwa zaidi la Qwen-CUA-Max likiwa na zaidi ya trilioni moja ya vigezo na kufikia 87.6.

Utambuzi wa mwonekano pekee: Huelewa hali ya kiolesura kupitia picha za skrini pekee, bila kutegemea muundo wa HTML au metadata ya ufikivu, hivyo kuwa na utangamano mpana zaidi kati ya majukwaa.
Uigaji asilia wa ingizo: Hutoa matukio ya kibodi na kipanya moja kwa moja, na inaweza kutekeleza vitendo katika vivinjari, programu za kompyuta za mezani na programu maalumu.
Msingi wa usanifu wa MoE: Unategemea modeli ya wataalamu mchanganyiko ya 397B-A17B, ikisawazisha utendaji na gharama ya uelekezaji; toleo la Max lina zaidi ya trilioni moja ya vigezo na hutoa utendaji wa juu zaidi.
Ripoti ya kiufundi iliyo wazi: Ripoti ya kiufundi na Demo ya marejeo zimechapishwa kwenye GitHub, hivyo kurahisisha watafiti kuiga na kuendeleza mfumo zaidi.

Usanifu wa msingi: Unategemea usanifu wa wataalamu mchanganyiko wa Qwen3.5-397B-A17B, wenye jumla ya vigezo 397B, ambapo ni 17B pekee huamilishwa katika kila upitishaji wa mbele. Hivyo hudumisha uwezo mkubwa wa kujieleza huku ikidhibiti gharama ya uelekezaji.
Mbinu mchanganyiko ya umakini: Hutumia umakini wa mstari wa GatedDeltaNet na Gated Full Attention kwa mpangilio wa kubadilishana wa 75:25, na kupunguza ugumu wa hesabu za mfuatano mrefu kutoka O(n²) hadi karibu mstari. Katika muktadha wa 256K, upitishaji ni mara 19 zaidi ya usanifu wa jadi.
Uelekezaji wa wataalamu: Kila tabaka lina wataalamu 512 wa uelekezaji wenye chembe ndogo. Huamilishwa kwa uteuzi wa Top-10 pamoja na urekebishaji upya wa uzani, huku mtaalamu 1 wa pamoja na udhibiti wa sigmoid vikirekebisha kwa kujitegemea mchango wa maarifa ya jumla ili kuzuia upotevu wa taarifa.
Utambuzi wa mwonekano pekee: Hutambua hali ya kiolesura kupitia picha za skrini pekee, bila kutegemea kabisa mti wa HTML DOM, metadata ya ufikivu au API ya mfumo wa uendeshaji, na hivyo kuwezesha utambuzi wa jumla wa programu yoyote ya GUI katika majukwaa mbalimbali.
Usimbaji na ujanibishaji wa mwonekano: Hurithi usanifu wa ViT wa mfululizo wa Qwen-VL unaounga mkono ingizo la mwonekano unaobadilika. Pamoja na usimbaji wa nafasi wa mzunguko wa multimodali wa MRoPE, husimba kwa wakati mmoja taarifa za wakati, urefu na upana ili kubaini kwa usahihi viwianishi vya vipengele vya kiolesura.

Tembelea hazina: Tafuta xlang-ai/Qwen-CUA kwenye GitHub ili kufungua ukurasa mkuu wa mradi.
Soma ripoti ya kiufundi: Pakua na usome ripoti ya kiufundi iliyo ndani ya mradi ili kuelewa usanifu wa modeli na maelezo ya mafunzo.
Endesha Demo ya marejeo: Sanidi mazingira kulingana na README, kisha endesha Demo rasmi ya marejeo ili kujaribu uendeshaji wa kiotomatiki unaoendeshwa na picha za skrini.
Unganisha kwenye mazingira yako: Unganisha modeli kwenye mazingira ya kompyuta ya mezani au kivinjari ya ndani au ya wingu, kisha tekeleza kazi kwa mzunguko wa ingizo la picha za skrini na matokeo ya kibodi na kipanya.

Alama za juu katika vipimo: Inapata alama 86.2 katika OSWorld-Verified, huku toleo la Max likipata 87.6, kiwango kinachoongoza katika eneo la CUA huria.
CUA asilia halisi: Tofauti na suluhisho zinazotegemea API au kuunganisha mawakala wengi, Qwen-CUA ni modeli ya mwonekano na vitendo iliyofunzwa kutoka mwanzo hadi mwisho, yenye uthabiti wa juu zaidi.
Utangamano wa majukwaa mbalimbali: Haiwekewi kikomo na mfumo wa uendeshaji au aina ya programu; programu yoyote yenye kiolesura cha picha inaweza kudhibitiwa.
Mfumo huria: Unatumia leseni ya Apache 2.0, na ripoti ya kiufundi pamoja na Demo vimewekwa wazi ili jumuiya iweze kuupanua kwa uhuru.

Hazina ya GitHub：https://github.com/xlang-ai/Qwen-CUA
Makala ya kiufundi：https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf

Majaribio ya kiotomatiki ya programu: Hutambua vipengele vya kiolesura kupitia picha za skrini na kutekeleza vitendo kama kubofya, kuingiza data na kusogeza, hivyo kukamilisha majaribio ya kurudia ya UI katika majukwaa mbalimbali bila kuandika hati maalumu.
Uendeshaji wa michakato ya RPA: Hubadilisha kazi za kurudia za ofisini kwenye kompyuta za mezani, kama kuingiza data, kuunda ripoti na kutumia ERP, bila kuhitaji kurekebisha mifumo ya awali ya IT ya kampuni.
Zana za usaidizi wa ufikivu: Hutambua kiotomatiki vipengele vya kiolesura cha programu kwa watumiaji wenye uoni hafifu au wazee na kutekeleza kwa niaba yao vitendo sahihi, hivyo kupunguza kizingiti cha kutumia programu maalumu.
Udhibiti wa programu za utafiti na kitaalamu: Hudhibiti kiotomatiki programu maalumu zisizo na API, kama MATLAB na SPSS, ili kutekeleza kwa wingi kazi za muda mrefu kama kuchakata data za majaribio na kuunda chati.
Huduma ya upangishaji wa mawakala kwenye wingu: Hupelekwa katika mazingira ya kompyuta za mezani ya wingu na kutekeleza saa 7×24 kazi za nyuma kama kukagua tovuti, kukusanya data na kupakua ripoti zilizopangwa.