Qwen-CUA – علی بابا کے Qwen وغیرہ کی جانب سے پیش کردہ مقامی Computer Use Agent آپریشن میں

Qwen-CUA، Qwen ٹیم اور XLang Lab کی جانب سے مشترکہ طور پر پیش کردہ مقامی Computer Use Agent ہے۔ یہ 397B-A17B مخلوط ماہرین کے معماری ڈھانچے پر مبنی ہے، صرف اسکرین شاٹس کے ذریعے انٹرفیس کی حالت کو محسوس کرتا ہے، DOM ٹری یا معاون فنکشنز کی میٹا ڈیٹا پر انحصار نہیں کرتا، اور براہِ راست کی بورڈ و ماؤس ایونٹس کے ذریعے براؤزر، ڈیسک ٹاپ ایپلی کیشنز اور پیشہ ورانہ سافٹ ویئر کو کنٹرول کرتا ہے۔ اس نے OSWorld-Verified بینچ مارک میں 86.2 اسکور حاصل کیا، جبکہ بڑے ورژن Qwen-CUA-Max میں ایک ٹریلین سے زیادہ پیرامیٹرز ہیں اور اس نے 87.6 اسکور حاصل کیا۔

خالص بصری ادراک: صرف اسکرین شاٹس کے ذریعے انٹرفیس کی حالت کو سمجھتا ہے، HTML ساخت یا رسائی کی میٹا ڈیٹا پر انحصار نہیں کرتا، اس لیے مختلف پلیٹ فارمز پر زیادہ عمومی مطابقت رکھتا ہے۔
مقامی ان پٹ کی نقل: براہِ راست کی بورڈ اور ماؤس ایونٹس خارج کرتا ہے، جن کے ذریعے براؤزر، ڈیسک ٹاپ ایپلی کیشنز اور پیشہ ورانہ سافٹ ویئر میں کارروائیاں انجام دی جا سکتی ہیں۔
MoE معماری کا بنیادی ماڈل: 397B-A17B مخلوط ماہرین ماڈل پر مبنی ہے، جو کارکردگی اور استدلال کی لاگت میں توازن رکھتا ہے؛ Max ورژن میں ایک ٹریلین سے زیادہ پیرامیٹرز ہیں اور کارکردگی مزید بہتر ہے۔
کھلی تکنیکی رپورٹ: GitHub پر تکنیکی رپورٹ اور حوالہ Demo جاری کیے جا چکے ہیں، جس سے محققین کے لیے دوبارہ تخلیق اور ثانوی ترقی آسان ہو جاتی ہے۔

بنیادی معماری: Qwen3.5-397B-A17B مخلوط ماہرین معماری پر مبنی ہے؛ کل پیرامیٹرز 397B ہیں، جبکہ ہر فارورڈ پاس میں صرف 17B پیرامیٹرز فعال ہوتے ہیں۔ اس طرح مضبوط اظہار کی صلاحیت برقرار رکھتے ہوئے استدلال کی لاگت قابو میں رہتی ہے۔
مخلوط توجہ کا طریقۂ کار: GatedDeltaNet لکیری توجہ اور Gated Full Attention کو 75:25 کے تناسب سے باری باری استعمال کیا جاتا ہے، جس سے طویل سلسلوں کی حسابی پیچیدگی O(n²) سے کم ہو کر تقریباً لکیری ہو جاتی ہے، اور 256K سیاق میں روایتی معماری کے مقابلے میں تھروپٹ 19 گنا بڑھ جاتا ہے۔
ماہرین کی روٹنگ: ہر پرت میں 512 باریک سطح کے روٹنگ ماہرین ترتیب دیے گئے ہیں۔ Top-10 انتخاب اور وزنوں کی دوبارہ معمول کاری کے ذریعے انہیں فعال کیا جاتا ہے، جبکہ 1 مشترکہ ماہر اور sigmoid گیٹنگ عمومی علم کے حصے کو موافق طور پر منظم کرتے ہیں تاکہ معلومات کے نقصان سے بچا جا سکے۔
خالص بصری ادراک: صرف اسکرین شاٹس کے ذریعے انٹرفیس کی حالت کو محسوس کرتا ہے، HTML DOM ٹری، رسائی کی میٹا ڈیٹا یا آپریٹنگ سسٹم API پر بالکل انحصار نہیں کرتا، جس سے کسی بھی GUI ایپلی کیشن کے لیے مختلف پلیٹ فارمز پر عمومی ادراک ممکن ہوتا ہے۔
بصری انکوڈنگ اور تعیینِ مقام: Qwen-VL سیریز کی ViT معماری سے وراثت میں ملنے والی متحرک ریزولوشن ان پٹ سپورٹ استعمال کرتا ہے۔ MRoPE کثیر الوسائط گردشی پوزیشن انکوڈنگ کے ساتھ وقت، اونچائی اور چوڑائی کی تین جہتی معلومات کو بیک وقت انکوڈ کرکے انٹرفیس عناصر کے نقاط کا درست تعین کرتا ہے۔

ریپوزٹری تک رسائی: GitHub پر xlang-ai/Qwen-CUA تلاش کرکے پروجیکٹ کے مرکزی صفحے پر جائیں۔
تکنیکی رپورٹ پڑھیں: پروجیکٹ میں موجود تکنیکی رپورٹ ڈاؤن لوڈ کرکے پڑھیں اور ماڈل کی معماری و تربیتی تفصیلات سمجھیں۔
حوالہ Demo چلائیں: README کے مطابق ماحول ترتیب دیں، پھر اسکرین شاٹ سے چلنے والی خودکار کارروائی کا تجربہ کرنے کے لیے سرکاری حوالہ Demo چلائیں۔
اپنے ماحول سے مربوط کریں: ماڈل کو مقامی یا کلاؤڈ ڈیسک ٹاپ/براؤزر ماحول سے مربوط کریں، اور اسکرین شاٹ ان پٹ اور کی بورڈ و ماؤس آؤٹ پٹ کے بند لوپ کے ذریعے کام انجام دیں۔

اعلیٰ بینچ مارک اسکور: OSWorld-Verified میں 86.2 اسکور اور Max ورژن میں 87.6 اسکور حاصل کرتا ہے، جو اوپن سورس CUA کے شعبے میں领先 سطح ہے۔
حقیقی مقامی CUA: API یا متعدد Agent کو جوڑنے والے حلوں کے برعکس، Qwen-CUA اینڈ ٹو اینڈ تربیت یافتہ بصری-عملی ماڈل ہے، جس کا استحکام زیادہ ہے۔
مختلف پلیٹ فارمز سے مطابقت: آپریٹنگ سسٹم یا ایپلی کیشن کی قسم سے محدود نہیں؛ گرافیکل انٹرفیس رکھنے والے کسی بھی سافٹ ویئر کو کنٹرول کیا جا سکتا ہے۔
اوپن سورس ماحولیاتی نظام: Apache 2.0 لائسنس کے تحت ہے، تکنیکی رپورٹ اور Demo عوامی طور پر دستیاب ہیں، اور کمیونٹی انہیں آزادانہ طور پر وسعت دے سکتی ہے۔

GitHub ریپوزٹری: https://github.com/xlang-ai/Qwen-CUA
تکنیکی مقالہ: https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf

خودکار سافٹ ویئر ٹیسٹنگ: اسکرین شاٹس کے ذریعے انٹرفیس عناصر کی شناخت کرکے کلک، ان پٹ اور اسکرول جیسی کارروائیاں انجام دیتا ہے، اور مخصوص اسکرپٹ لکھے بغیر مختلف پلیٹ فارمز پر UI ریگریشن ٹیسٹنگ مکمل کی جا سکتی ہے۔
RPA عمل کی خودکاری: ڈیٹا اندراج، رپورٹس کی تیاری اور ERP آپریشنز جیسے دہرائے جانے والے ڈیسک ٹاپ دفتری کام انسانی مداخلت کے بغیر مکمل کرتا ہے، اور ادارے کے موجودہ IT نظام میں تبدیلی کی ضرورت نہیں پڑتی۔
رسائی معاون ٹول: بصارت سے محروم صارفین یا بزرگ افراد کے لیے سافٹ ویئر انٹرفیس عناصر کی خودکار شناخت کرکے درست کارروائیاں انجام دیتا ہے، جس سے پیشہ ورانہ سافٹ ویئر کے استعمال کی رکاوٹ کم ہوتی ہے۔
تحقیق اور پیشہ ورانہ سافٹ ویئر کنٹرول: MATLAB، SPSS جیسے API کے بغیر پیشہ ورانہ سافٹ ویئر کو خودکار طور پر کنٹرول کرتا ہے، اور تجرباتی ڈیٹا کی پروسیسنگ و چارٹ سازی جیسے طویل دورانیے کے کام بڑی تعداد میں انجام دیتا ہے۔
کلاؤڈ Agent ہوسٹنگ سروس: کلاؤڈ ڈیسک ٹاپ ماحول میں تعینات ہو کر ویب سائٹ کی نگرانی، ڈیٹا حاصل کرنے اور مقررہ وقت پر رپورٹس ڈاؤن لوڈ کرنے جیسے پسِ منظر کے کام 7×24 گھنٹے انجام دیتی ہے۔