Qwen-CUA – Alibaba Qwenなどが発表したネイティブComputer Use Agent 運営中

Qwen-CUAは、QwenチームとXLang Labが共同で発表したネイティブComputer Use Agentです。397B-A17B混合エキスパートアーキテクチャを基盤とし、スクリーンショットだけでインターフェースの状態を認識します。DOMツリーやアクセシビリティメタデータに依存せず、キーボードとマウスのイベントを直接使って、ブラウザー、デスクトップアプリ、専門ソフトウェアを操作できます。OSWorld-Verifiedベンチマークでは86.2点を獲得し、より大規模なQwen-CUA-Maxは1兆を超えるパラメーターで87.6点に達しています。

純粋な視覚認識：スクリーンショットだけでインターフェースの状態を理解し、HTML構造やアクセシビリティメタデータに依存しないため、高いクロスプラットフォーム汎用性を実現します。
ネイティブ入力シミュレーション：キーボードとマウスのイベントを直接出力し、ブラウザー、デスクトップアプリ、専門ソフトウェアで操作を実行できます。
MoEアーキテクチャ：397B-A17B混合エキスパートモデルを基盤とし、性能と推論コストのバランスを実現します。1兆を超えるパラメーターを持つMax版では、さらに性能が向上しています。
技術レポートの公開：GitHubで技術レポートと参考Demoが公開されており、研究者による再現や二次開発に活用できます。

基盤アーキテクチャ：Qwen3.5-397B-A17B混合エキスパートアーキテクチャを基盤とし、総パラメーター数は397B、各フォワードパスで活性化されるのは17Bです。高い表現力を維持しながら、推論コストを抑えます。
混合アテンション機構：GatedDeltaNet線形アテンションとGated Full Attentionを75:25の比率で交互に配置します。長系列の計算複雑度をO(n²)からほぼ線形まで削減し、256Kコンテキストでのスループットは従来のアーキテクチャより19倍向上しています。
エキスパートルーティング：各層に512個の細粒度ルーティングエキスパートを配置し、Top-10選択と重みの再正規化によって活性化します。さらに1つの共有エキスパートとsigmoidゲートによって汎用知識の寄与を適応的に調整し、情報損失を防ぎます。
純粋な視覚認識：スクリーンショットだけでインターフェースの状態を認識し、HTML DOMツリー、アクセシビリティメタデータ、OS APIに一切依存しません。これにより、任意のGUIアプリケーションをクロスプラットフォームで汎用的に認識できます。
視覚エンコードと位置特定：Qwen-VLシリーズを継承したViTアーキテクチャにより動的解像度の入力に対応します。MRoPEマルチモーダル回転位置エンコーディングと組み合わせ、時間・高さ・幅の3次元情報を同時にエンコードして、インターフェース要素の座標を正確に特定します。

リポジトリにアクセス：GitHubでxlang-ai/Qwen-CUAを検索し、プロジェクトのホームページにアクセスします。
技術レポートを読む：プロジェクト内の技術レポートをダウンロードして読み、モデルアーキテクチャと学習の詳細を確認します。
参考Demoを実行：READMEに従って環境を構成し、公式の参考Demoを実行して、スクリーンショット駆動の自動操作を体験します。
独自環境に接続：モデルをローカルまたはクラウドのデスクトップ／ブラウザー環境に接続し、スクリーンショット入力とキーボード・マウス出力のループでタスクを実行します。

高いベンチマークスコア：OSWorld-Verifiedで86.2点、Max版で87.6点を獲得し、オープンソースCUA分野でトップクラスの水準です。
真のネイティブCUA：API依存型や複数のAgentを組み合わせる方式とは異なり、Qwen-CUAはエンドツーエンドで学習された視覚・アクションモデルであり、より高い安定性を備えています。
クロスプラットフォーム対応：OSやアプリケーションの種類に制限されず、グラフィカルインターフェースを持つソフトウェアを操作できます。
オープンソースエコシステム：Apache 2.0ライセンスで提供され、技術レポートとDemoも公開されているため、コミュニティで自由に拡張できます。

GitHubリポジトリ：https://github.com/xlang-ai/Qwen-CUA
技術論文：https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf

ソフトウェアの自動テスト：スクリーンショットからインターフェース要素を認識し、クリック、入力、スクロールなどを実行します。専用スクリプトを記述せずに、クロスプラットフォームのUI回帰テストを実施できます。
RPAによる業務自動化：データ入力、レポート作成、ERP操作など、反復的なデスクトップ業務を人に代わって実行します。企業の既存ITシステムを改修する必要はありません。
アクセシビリティ支援ツール：視覚障害者や高齢者のために、ソフトウェアのインターフェース要素を自動認識し、正確な操作を代行します。専門ソフトウェアの利用に必要なハードルを下げられます。
科学研究・専門ソフトウェアの操作：MATLAB、SPSSなどAPIインターフェースを持たない専門ソフトウェアを自動操作し、実験データの処理やグラフ作成など、長時間にわたるタスクを一括実行します。
クラウド上のAgentホスティングサービス：クラウドデスクトップ環境にデプロイし、Webサイトの巡回、データ収集、定期レポートのダウンロードなどのバックグラウンドタスクを7×24時間実行します。