Qwen-CUA – Computer Use Agent nguyên bản do Alibaba Qwen và các bên phát triển Đang hoạt động

Qwen-CUA là Computer Use Agent nguyên bản do nhóm Qwen và XLang Lab phối hợp phát triển, dựa trên kiến trúc Mixture-of-Experts 397B-A17B, chỉ nhận biết trạng thái giao diện qua ảnh chụp màn hình, không cần phụ thuộc vào cây DOM hay siêu dữ liệu trợ năng, đồng thời trực tiếp điều khiển trình duyệt, ứng dụng máy tính để bàn và phần mềm chuyên nghiệp bằng các sự kiện bàn phím, chuột. Mô hình đạt 86,2 điểm trên chuẩn OSWorld-Verified, trong khi phiên bản lớn hơn Qwen-CUA-Max có hơn một nghìn tỷ tham số và đạt 87,6 điểm.

Nhận biết thuần thị giác: Chỉ sử dụng ảnh chụp màn hình để hiểu trạng thái giao diện, không phụ thuộc vào cấu trúc HTML hay siêu dữ liệu trợ năng, mang lại khả năng sử dụng đa nền tảng tốt hơn.
Mô phỏng đầu vào nguyên bản: Trực tiếp xuất các sự kiện bàn phím và chuột để thực hiện thao tác trên trình duyệt, ứng dụng máy tính để bàn và phần mềm chuyên nghiệp.
Nền tảng kiến trúc MoE: Dựa trên mô hình Mixture-of-Experts 397B-A17B, cân bằng hiệu năng và chi phí suy luận; phiên bản Max có hơn một nghìn tỷ tham số, tiếp tục nâng cao hiệu năng.
Báo cáo kỹ thuật mở: Báo cáo kỹ thuật và Demo tham khảo đã được phát hành trên GitHub, giúp nhà nghiên cứu dễ dàng tái hiện và phát triển tiếp.

Kiến trúc nền tảng: Dựa trên kiến trúc Mixture-of-Experts Qwen3.5-397B-A17B, có tổng cộng 397B tham số nhưng mỗi lượt truyền xuôi chỉ kích hoạt 17B tham số, vừa duy trì năng lực biểu đạt mạnh vừa kiểm soát chi phí suy luận.
Cơ chế chú ý kết hợp: Sử dụng attention tuyến tính GatedDeltaNet và Gated Full Attention được sắp xếp xen kẽ theo tỷ lệ 75:25, giảm độ phức tạp tính toán chuỗi dài từ O(n²) xuống gần tuyến tính; thông lượng với ngữ cảnh 256K tăng 19 lần so với kiến trúc truyền thống.
Định tuyến chuyên gia: Mỗi lớp được cấu hình 512 chuyên gia định tuyến hạt mịn, kích hoạt bằng lựa chọn Top-10 và chuẩn hóa lại trọng số, kết hợp với 1 chuyên gia dùng chung và cơ chế cổng sigmoid để tự thích ứng điều chỉnh đóng góp của tri thức tổng quát, tránh mất mát thông tin.
Nhận biết thuần thị giác: Chỉ sử dụng ảnh chụp màn hình để nhận biết trạng thái giao diện, hoàn toàn không phụ thuộc vào cây HTML DOM, siêu dữ liệu trợ năng hay API hệ điều hành, cho phép nhận biết đa nền tảng các ứng dụng GUI bất kỳ.
Mã hóa và định vị hình ảnh: Kế thừa kiến trúc ViT của dòng Qwen-VL để hỗ trợ đầu vào có độ phân giải động, kết hợp mã hóa vị trí xoay đa phương thức MRoPE nhằm đồng thời mã hóa thông tin ba chiều về thời gian, chiều cao và chiều rộng, từ đó định vị chính xác tọa độ các phần tử giao diện.

Truy cập kho mã: Truy cập GitHub và tìm kiếm xlang-ai/Qwen-CUA để mở trang chủ dự án.
Đọc báo cáo kỹ thuật: Tải xuống và đọc báo cáo kỹ thuật trong dự án để tìm hiểu kiến trúc mô hình và chi tiết huấn luyện.
Chạy Demo tham khảo: Cấu hình môi trường theo README, sau đó chạy Demo tham khảo do dự án cung cấp để trải nghiệm thao tác tự động dựa trên ảnh chụp màn hình.
Tích hợp vào môi trường riêng: Tích hợp mô hình vào môi trường máy tính để bàn hoặc trình duyệt cục bộ hay trên đám mây, tạo vòng lặp khép kín thực hiện tác vụ thông qua đầu vào là ảnh chụp màn hình và đầu ra là thao tác bàn phím, chuột.

Điểm chuẩn cao: Đạt 86,2 điểm trên OSWorld-Verified, phiên bản Max đạt 87,6 điểm, thuộc nhóm dẫn đầu trong lĩnh vực CUA mã nguồn mở.
CUA nguyên bản thực sự: Khác với các giải pháp phụ thuộc vào API hoặc ghép nối nhiều Agent, Qwen-CUA là mô hình thị giác-hành động được huấn luyện đầu cuối, có độ ổn định cao hơn.
Tương thích đa nền tảng: Không bị giới hạn bởi hệ điều hành hay loại ứng dụng; có thể điều khiển mọi phần mềm có giao diện đồ họa.
Hệ sinh thái mã nguồn mở: Sử dụng giấy phép Apache 2.0; báo cáo kỹ thuật và Demo đã được công khai, cho phép cộng đồng tự do mở rộng.

Kho GitHub：https://github.com/xlang-ai/Qwen-CUA
Bài báo kỹ thuật：https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf

Kiểm thử phần mềm tự động: Nhận diện các phần tử giao diện qua ảnh chụp màn hình và thực hiện thao tác nhấp, nhập, cuộn, v.v., hoàn thành kiểm thử hồi quy UI đa nền tảng mà không cần viết tập lệnh riêng.
Tự động hóa quy trình RPA: Thay thế con người thực hiện các tác vụ văn phòng lặp đi lặp lại trên máy tính để bàn như nhập dữ liệu, tạo báo cáo và thao tác ERP, không cần cải tạo hệ thống CNTT hiện có của doanh nghiệp.
Công cụ hỗ trợ trợ năng: Tự động nhận diện các phần tử giao diện phần mềm cho người khiếm thị hoặc người cao tuổi và thực hiện thao tác chính xác thay họ, hạ thấp rào cản sử dụng phần mềm chuyên nghiệp.
Điều khiển phần mềm nghiên cứu và chuyên nghiệp: Tự động điều khiển các phần mềm chuyên nghiệp không có API như MATLAB, SPSS, thực hiện hàng loạt tác vụ dài như xử lý dữ liệu thí nghiệm và tạo biểu đồ.
Dịch vụ lưu trữ Agent trên đám mây: Triển khai trong môi trường máy tính để bàn trên đám mây để thực hiện 24/7 các tác vụ nền như kiểm tra website, thu thập dữ liệu và tải báo cáo định kỳ.