Qwen-CUA – Alibaba Qwen va boshqalar tomonidan taqdim etilgan mahalliy Computer Use Agent Faoliyat yuritmoqda

Qwen-CUA — Qwen jamoasi va XLang Lab hamkorligida taqdim etilgan mahalliy Computer Use Agent bo‘lib, 397B-A17B aralash ekspertlar arxitekturasiga asoslangan. U interfeys holatini faqat ekran tasvirlari orqali anglaydi, DOM daraxti yoki maxsus imkoniyatlar metama’lumotlariga tayanmaydi va brauzerlar, ish stoli ilovalari hamda professional dasturlarni klaviatura va sichqoncha hodisalari orqali bevosita boshqaradi. OSWorld-Verified mezonida 86.2 ball olgan, kattaroq Qwen-CUA-Max versiyasining parametrlari trilliondan oshadi va u 87.6 ballga erishgan.

Faqat vizual idrok: interfeys holatini faqat ekran tasvirlari orqali tushunadi, HTML tuzilmasi yoki maxsus imkoniyatlar metama’lumotlariga tayanmaydi va turli platformalarda kengroq ishlaydi.
Mahalliy kiritishlarni simulyatsiya qilish: klaviatura va sichqoncha hodisalarini bevosita chiqarib, brauzerlar, ish stoli ilovalari va professional dasturlarda amallarni bajaradi.
MoE arxitekturasi: 397B-A17B aralash ekspertlar modeliga asoslanib, unumdorlik va xulosa chiqarish xarajatlari o‘rtasida muvozanatni ta’minlaydi; trilliondan ortiq parametrli Max versiyasi unumdorlikni yanada oshiradi.
Ochiq texnik hisobot: GitHub’da texnik hisobot va namunaviy Demo e’lon qilingan bo‘lib, tadqiqotchilarga uni qayta yaratish va rivojlantirish imkonini beradi.

Asosiy arxitektura: Qwen3.5-397B-A17B aralash ekspertlar arxitekturasiga asoslangan; jami parametrlar soni 397B, har bir oldinga uzatish bosqichida esa faqat 17B parametr faollashadi. Bu kuchli ifodalash qobiliyatini saqlagan holda xulosa chiqarish xarajatlarini nazorat qiladi.
Aralash diqqat mexanizmi: GatedDeltaNet chiziqli diqqati va Gated Full Attention mexanizmlari 75:25 nisbatda navbatma-navbat joylashtirilgan. Natijada uzun ketma-ketliklar uchun hisoblash murakkabligi O(n²) dan deyarli chiziqli darajaga tushadi, 256K kontekst o‘tkazuvchanligi esa an’anaviy arxitekturaga nisbatan 19 baravar oshadi.
Ekspertlarni yo‘naltirish: har bir qatlamda 512 ta mayda yo‘naltiruvchi ekspert mavjud. Ular Top-10 tanlovi va og‘irliklarni qayta normallashtirish orqali faollashadi. Bundan tashqari, 1 ta umumiy ekspert va sigmoid darvoza umumiy bilimlar hissasini mos ravishda boshqarib, axborot yo‘qolishining oldini oladi.
Faqat vizual idrok: interfeys holatini faqat ekran tasvirlari orqali anglaydi va HTML DOM daraxti, maxsus imkoniyatlar metama’lumotlari yoki operatsion tizim API’lariga umuman tayanmaydi. Shu tariqa istalgan GUI ilovasini turli platformalarda idrok eta oladi.
Vizual kodlash va joylashuvni aniqlash: Qwen-VL seriyasidan meros olingan ViT arxitekturasi dinamik o‘lchamdagi kirishlarni qo‘llab-quvvatlaydi. MRoPE multimodal aylanuvchi pozitsion kodlash yordamida vaqt, balandlik va kenglik haqidagi uch o‘lchamli ma’lumotlar birgalikda kodlanib, interfeys elementlarining koordinatalari aniq aniqlanadi.

Repository’ga kirish: GitHub’da xlang-ai/Qwen-CUA manzilini qidirib, loyiha bosh sahifasiga o‘ting.
Texnik hisobotni o‘qish: model arxitekturasi va o‘qitish tafsilotlarini bilish uchun loyiha ichidagi texnik hisobotni yuklab o‘qing.
Namunaviy Demo’ni ishga tushirish: README ko‘rsatmalariga ko‘ra muhitni sozlang va ekran tasvirlari orqali boshqariladigan avtomatlashtirilgan amallarni sinash uchun rasmiy namunaviy Demo’ni ishga tushiring.
O‘z muhitingizga ulash: modelni mahalliy yoki bulutdagi ish stoli/brauzer muhitiga ulang va vazifalarni ekran tasviri orqali kiritish hamda klaviatura va sichqoncha orqali chiqarishdan iborat yopiq sikl yordamida bajaring.

Yuqori mezon ballari: OSWorld-Verified testida 86.2 ball, Max versiyasida 87.6 ball olgan va ochiq manbali CUA sohasida yetakchi darajada turadi.
Haqiqiy mahalliy CUA: API yoki bir nechta Agent’ni birlashtirishga tayanadigan yechimlardan farqli ravishda, Qwen-CUA oxiridan oxirigacha o‘qitilgan vizual-harakatli model bo‘lib, yuqori barqarorlikni ta’minlaydi.
Turli platformalar bilan moslik: operatsion tizim yoki ilova turiga bog‘liq emas; grafik interfeysga ega har qanday dastur boshqarilishi mumkin.
Ochiq manbali ekotizim: Apache 2.0 litsenziyasi asosida tarqatiladi, texnik hisobot va Demo ochiq e’lon qilingan, hamjamiyat ularni erkin kengaytirishi mumkin.

GitHub repository’si: https://github.com/xlang-ai/Qwen-CUA
Texnik maqola: https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf

Avtomatlashtirilgan dasturiy testlar: ekran tasvirlari orqali interfeys elementlarini aniqlab, bosish, kiritish va aylantirish kabi amallarni bajaradi; maxsus skriptlar yozmasdan turli platformalardagi UI regressiya testlarini o‘tkazish mumkin.
RPA jarayonlarini avtomatlashtirish: ma’lumot kiritish, hisobot yaratish, ERP’da ishlash kabi takroriy ish stoli vazifalarini inson o‘rniga bajaradi va korxonaning mavjud IT tizimlarini qayta qurishni talab qilmaydi.
Maxsus imkoniyatlar yordamchisi: ko‘rishida nuqsoni bo‘lgan foydalanuvchilar yoki keksalar uchun dastur interfeysi elementlarini avtomatik aniqlab, aniq amallarni ularning o‘rniga bajaradi va professional dasturlardan foydalanishdagi to‘siqlarni kamaytiradi.
Ilmiy va professional dasturlarni boshqarish: MATLAB, SPSS kabi API interfeysiga ega bo‘lmagan professional dasturlarni avtomatik boshqarib, tajriba ma’lumotlarini qayta ishlash va diagrammalar yaratish kabi uzoq davom etadigan vazifalarni ommaviy bajaradi.
Bulutdagi Agent hosting xizmati: bulut ish stoli muhitida joylashtirilib, veb-saytlarni tekshirish, ma’lumot yig‘ish, rejalashtirilgan hisobotlarni yuklab olish kabi fon vazifalarini 7×24 soat bajaradi.