Qwen-CUA – আলি Qwen-এর নেতৃত্বে প্রকাশিত নেটিভ Computer Use Agent চালু আছে

Qwen-CUA হলো Qwen দল ও XLang Lab-এর যৌথভাবে প্রকাশিত একটি নেটিভ Computer Use Agent। এটি 397B-A17B Mixture-of-Experts আর্কিটেকচারের ওপর ভিত্তি করে তৈরি এবং শুধু স্ক্রিনশটের মাধ্যমে ইন্টারফেসের অবস্থা উপলব্ধি করে। DOM ট্রি বা অ্যাক্সেসিবিলিটি মেটাডেটার ওপর নির্ভর না করে এটি সরাসরি কীবোর্ড ও মাউস ইভেন্ট ব্যবহার করে ব্রাউজার, ডেস্কটপ অ্যাপ্লিকেশন এবং পেশাদার সফটওয়্যার নিয়ন্ত্রণ করে। OSWorld-Verified বেঞ্চমার্কে এটি 86.2 স্কোর অর্জন করেছে। এর বড় সংস্করণ Qwen-CUA-Max-এর প্যারামিটারের সংখ্যা 1 ট্রিলিয়নেরও বেশি এবং এটি 87.6 স্কোর অর্জন করেছে।

সম্পূর্ণ ভিশন-ভিত্তিক উপলব্ধি: শুধু স্ক্রিনশটের মাধ্যমে ইন্টারফেসের অবস্থা বোঝে; HTML কাঠামো বা অ্যাক্সেসিবিলিটি মেটাডেটার ওপর নির্ভর করে না, ফলে বিভিন্ন প্ল্যাটফর্মে ব্যবহারযোগ্যতা বেশি।
নেটিভ ইনপুট সিমুলেশন: সরাসরি কীবোর্ড ও মাউস ইভেন্ট তৈরি করে এবং ব্রাউজার, ডেস্কটপ অ্যাপ্লিকেশন ও পেশাদার সফটওয়্যারে কাজ সম্পাদন করতে পারে।
MoE আর্কিটেকচার: 397B-A17B Mixture-of-Experts মডেলের ওপর ভিত্তি করে কর্মক্ষমতা ও ইনফারেন্স খরচের ভারসাম্য বজায় রাখে; 1 ট্রিলিয়নেরও বেশি প্যারামিটারের Max সংস্করণে কর্মক্ষমতা আরও উন্নত।
উন্মুক্ত প্রযুক্তিগত প্রতিবেদন: GitHub-এ প্রযুক্তিগত প্রতিবেদন ও রেফারেন্স Demo প্রকাশিত হয়েছে, যা গবেষকদের পুনরুৎপাদন ও পরবর্তী উন্নয়নে সহায়তা করে।

ভিত্তি আর্কিটেকচার: Qwen3.5-397B-A17B Mixture-of-Experts আর্কিটেকচারের ওপর ভিত্তি করে তৈরি। মোট প্যারামিটার 397B, আর প্রতিটি ফরওয়ার্ড ধাপে মাত্র 17B প্যারামিটার সক্রিয় হয়। এতে শক্তিশালী প্রকাশক্ষমতা বজায় রেখেও ইনফারেন্স খরচ নিয়ন্ত্রণ করা যায়।
হাইব্রিড অ্যাটেনশন মেকানিজম: GatedDeltaNet লিনিয়ার অ্যাটেনশন ও Gated Full Attention 75:25 অনুপাতে পর্যায়ক্রমে সাজানো হয়েছে। এর ফলে দীর্ঘ সিকোয়েন্সের গণনাগত জটিলতা O(n²) থেকে প্রায় লিনিয়ারে নেমে আসে এবং 256K কনটেক্সটে প্রচলিত আর্কিটেকচারের তুলনায় থ্রুপুট 19 গুণ বৃদ্ধি পায়।
বিশেষজ্ঞ রাউটিং: প্রতিটি স্তরে 512টি সূক্ষ্ম-নিয়ন্ত্রিত রাউটিং বিশেষজ্ঞ থাকে। Top-10 নির্বাচন ও ওজন পুনঃস্বাভাবিকীকরণের মাধ্যমে এগুলো সক্রিয় করা হয়। পাশাপাশি 1টি শেয়ার্ড বিশেষজ্ঞ ও sigmoid গেটিং সাধারণ জ্ঞানের অবদানকে অভিযোজিতভাবে নিয়ন্ত্রণ করে, ফলে তথ্যের ক্ষতি এড়ানো যায়।
সম্পূর্ণ ভিশন-ভিত্তিক উপলব্ধি: শুধু স্ক্রিনশটের মাধ্যমে ইন্টারফেসের অবস্থা শনাক্ত করে এবং HTML DOM ট্রি, অ্যাক্সেসিবিলিটি মেটাডেটা বা অপারেটিং সিস্টেম API-এর ওপর সম্পূর্ণভাবে নির্ভর করে না। ফলে যেকোনো GUI অ্যাপ্লিকেশনে বিভিন্ন প্ল্যাটফর্মে সাধারণভাবে উপলব্ধি করা সম্ভব।
ভিশন এনকোডিং ও অবস্থান নির্ণয়: Qwen-VL সিরিজের ViT আর্কিটেকচার থেকে উত্তরাধিকারসূত্রে পাওয়া ডায়নামিক রেজোলিউশন ইনপুট সমর্থন করে। MRoPE মাল্টিমোডাল রোটারি পজিশন এনকোডিংয়ের মাধ্যমে সময়, উচ্চতা ও প্রস্থের ত্রিমাত্রিক তথ্য একসঙ্গে এনকোড করে এবং ইন্টারফেস উপাদানের স্থানাঙ্ক নির্ভুলভাবে শনাক্ত করে।

রিপোজিটরি দেখুন: GitHub-এ xlang-ai/Qwen-CUA অনুসন্ধান করে প্রকল্পের হোমপেজে প্রবেশ করুন।
প্রযুক্তিগত প্রতিবেদন পড়ুন: প্রকল্পের প্রযুক্তিগত প্রতিবেদন ডাউনলোড করে মডেলের আর্কিটেকচার ও প্রশিক্ষণের বিশদ জানুন।
রেফারেন্স Demo চালান: README অনুযায়ী পরিবেশ কনফিগার করে অফিসিয়াল রেফারেন্স Demo চালান এবং স্ক্রিনশট-চালিত স্বয়ংক্রিয় কার্যক্রমের অভিজ্ঞতা নিন।
নিজস্ব পরিবেশে সংযুক্ত করুন: মডেলকে স্থানীয় বা ক্লাউড ডেস্কটপ/ব্রাউজার পরিবেশে সংযুক্ত করুন এবং স্ক্রিনশট ইনপুট ও কীবোর্ড-মাউস আউটপুটের ক্লোজড-লুপের মাধ্যমে কাজ সম্পাদন করুন।

উচ্চ বেঞ্চমার্ক স্কোর: OSWorld-Verified-এ 86.2 স্কোর এবং Max সংস্করণে 87.6 স্কোর অর্জন করেছে, যা ওপেন-সোর্স CUA ক্ষেত্রে শীর্ষস্থানীয় ফলাফল।
প্রকৃত নেটিভ CUA: API বা একাধিক Agent জোড়া লাগানোর সমাধানের বিপরীতে Qwen-CUA একটি এন্ড-টু-এন্ড প্রশিক্ষিত ভিশন-অ্যাকশন মডেল, যার স্থিতিশীলতা বেশি।
বিভিন্ন প্ল্যাটফর্মে সামঞ্জস্য: অপারেটিং সিস্টেম বা অ্যাপ্লিকেশনের ধরন দ্বারা সীমাবদ্ধ নয়; গ্রাফিক্যাল ইন্টারফেস থাকা যেকোনো সফটওয়্যার নিয়ন্ত্রণ করতে পারে।
ওপেন-সোর্স ইকোসিস্টেম: Apache 2.0 লাইসেন্সের অধীনে প্রযুক্তিগত প্রতিবেদন ও Demo প্রকাশিত হয়েছে এবং কমিউনিটি স্বাধীনভাবে এটি সম্প্রসারণ করতে পারে।

GitHub রিপোজিটরি：https://github.com/xlang-ai/Qwen-CUA
প্রযুক্তিগত গবেষণাপত্র：https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf

স্বয়ংক্রিয় সফটওয়্যার পরীক্ষা: স্ক্রিনশটের মাধ্যমে ইন্টারফেস উপাদান শনাক্ত করে ক্লিক, ইনপুট, স্ক্রলসহ বিভিন্ন কাজ সম্পাদন করে; নির্দিষ্ট স্ক্রিপ্ট লেখা ছাড়াই বিভিন্ন প্ল্যাটফর্মে UI রিগ্রেশন টেস্ট সম্পন্ন করা যায়।
RPA প্রক্রিয়া স্বয়ংক্রিয়করণ: ডেটা এন্ট্রি, প্রতিবেদন তৈরি, ERP পরিচালনাসহ পুনরাবৃত্তিমূলক ডেস্কটপ অফিসের কাজগুলো মানুষের পরিবর্তে সম্পন্ন করে; প্রতিষ্ঠানের বিদ্যমান IT সিস্টেম পরিবর্তন করার প্রয়োজন হয় না।
অ্যাক্সেসিবিলিটি সহায়ক টুল: দৃষ্টিপ্রতিবন্ধী ব্যবহারকারী বা বয়স্কদের জন্য সফটওয়্যারের ইন্টারফেস উপাদান স্বয়ংক্রিয়ভাবে শনাক্ত করে এবং নির্ভুল কার্যক্রম সম্পাদন করে, ফলে পেশাদার সফটওয়্যার ব্যবহারের বাধা কমে।
গবেষণা ও পেশাদার সফটওয়্যার নিয়ন্ত্রণ: MATLAB, SPSS-এর মতো API-বিহীন পেশাদার সফটওয়্যার স্বয়ংক্রিয়ভাবে পরিচালনা করে এবং পরীক্ষার ডেটা প্রক্রিয়াকরণ ও চার্ট তৈরির মতো দীর্ঘমেয়াদি কাজ ব্যাচ আকারে সম্পন্ন করে।
ক্লাউড Agent হোস্টিং সেবা: ক্লাউড ডেস্কটপ পরিবেশে স্থাপন করে 7×24 ঘণ্টা ওয়েবসাইট পর্যবেক্ষণ, ডেটা সংগ্রহ ও নির্ধারিত প্রতিবেদন ডাউনলোডের মতো ব্যাকগ্রাউন্ড কাজ সম্পাদন করে।