Hướng dẫn phongent: Dùng iPhone hoặc Android để điều khiển phối hợp nhiều Agent trên điện thoại

phongent là gì

phongent là một dự án phối hợp điều khiển Agent trên nhiều thiết bị. Bạn có thể dùng ngôn ngữ tự nhiên để giao nhiệm vụ cho tất cả thiết bị, một nhóm thiết bị hoặc thiết bị cụ thể, đồng thời xem tiến độ, kết quả, thông báo và màn hình Android theo thời gian thực trong cùng một giao diện.

Cả iOS và Android đều có thể làm thiết bị điều khiển chính để kết nối và quản lý các thiết bị Android thực thi. Cả hai đều hỗ trợ giao nhiệm vụ, xem kết quả, quản lý tin nhắn, cửa sổ nhỏ theo thời gian thực và thao tác tiếp quản; chỉ Android mới có thể trực tiếp thực hiện các tác vụ điều khiển ứng dụng trên chính thiết bị.

Lưu ý: Hiện tại iOS chỉ có thể làm thiết bị điều khiển chính kết nối với thiết bị Android thực thi, không thể thực hiện tác vụ điều khiển ứng dụng trên iPhone.

Tính năng chính

• Giao nhiệm vụ cho nhiều thiết bị: Nhấn giữ thiết bị và mô tả nhiệm vụ, hoặc để Agent tác vụ của thiết bị điều khiển chính tự quyết định cách phân phối nhiệm vụ cho các thiết bị.
• Phối hợp theo nhóm thiết bị: Chọn cả nhóm thiết bị để thực hiện nhiệm vụ hàng loạt, hoặc giao các nhiệm vụ khác nhau cho từng nhóm hay một thiết bị trong nhóm.
• Tạo và phân phối nội dung: Mô hình trên thiết bị điều khiển chính có thể tạo nhiều nội dung và thẻ hình ảnh dạng chữ, sau đó giao nội dung khác nhau cho từng thiết bị xử lý, đồng thời hỗ trợ đính kèm hình ảnh.
• Cửa sổ nhỏ Android theo thời gian thực: Xem màn hình ảo Android và tiếp quản thao tác bằng cách nhấp, vuốt hoặc nhập liệu. Tính năng này được bật mặc định và có thể tắt trong phần cài đặt.
• Tập trung xử lý tin nhắn: Sắp xếp thông báo theo thiết bị, ứng dụng và nguồn tin nhắn, đồng thời yêu cầu Agent trên thiết bị Android mục tiêu trả lời.
• Cấu hình tập trung: Quản lý bộ nhớ, kỹ năng, tác vụ định kỳ và lộ trình thao tác; có thể chọn một thiết bị hoặc thao tác hàng loạt.
• Quản lý kết nối: Hỗ trợ phát hiện trong mạng LAN, cấp quyền lần đầu, kết nối một chạm, kết nối lại khi mất kết nối, đổi tên thiết bị và lưới thiết bị.

Chuẩn bị trước khi cài đặt

Yêu cầu về thiết bị và hệ thống

• Chuẩn bị ít nhất một thiết bị Android làm thiết bị thực thi.
• Thiết bị điều khiển chính có thể là iPhone hoặc thiết bị Android.
• Thiết bị điều khiển chính và thiết bị thực thi phải kết nối cùng một mạng LAN.
• Phiên bản Android tối thiểu là Android 11. Khả năng thao tác cụ thể còn phụ thuộc vào phiên bản hệ thống và cài đặt quyền.
• Phiên bản triển khai iOS tối thiểu là iOS 17. Hiện tại cần dùng Xcode để xây dựng, ký và cài đặt.

Chọn đúng gói cài đặt

Người dùng Android có thể tải phongent.apk từ trang phát hành của dự án. Hãy sử dụng bản dựng do dự án phongent cung cấp, không dùng APK của dự án upstream thay thế, vì phiên bản upstream có thể thiếu các giao diện cần cho việc điều khiển nhiều thiết bị.

Cấu hình và kết nối nhanh

1. Cài đặt ứng dụng. Cài APK phongent trên thiết bị Android. Thiết bị điều khiển chính iOS cần được xây dựng, ký và cài đặt bằng Xcode trên macOS.
2. Thiết lập thiết bị Android thực thi. Cấu hình mô hình cần thiết và khả năng điều khiển điện thoại trong ứng dụng, đồng thời cấp các quyền như trợ năng và đọc thông báo tùy theo chức năng thực tế. Có thể tham khảo hướng dẫn cài đặt của dự án để thiết lập thao tác điện thoại cấp thấp.
3. Duy trì dịch vụ của thiết bị thực thi. Xác nhận dịch vụ Android đã khởi động và kết nối thiết bị điều khiển chính với thiết bị Android thực thi trong cùng một mạng LAN.
4. Kết nối thiết bị. Trên trang “Thiết bị” của bộ điều khiển chính, chọn thiết bị Android được phát hiện hoặc dùng “Kết nối một chạm”. Khi kết nối lần đầu, cần xác nhận cấp quyền trên thiết bị Android.
5. Cấu hình mô hình điều khiển chính. Mở phần cài đặt của thiết bị điều khiển chính và cấu hình mô hình chịu trách nhiệm hiểu và phân phối nhiệm vụ. Các tài khoản ứng dụng liên quan cần được đăng nhập trên thiết bị thực thi tương ứng.
6. Bắt đầu phối hợp. Mở trang “agent”, chọn tất cả thiết bị, một nhóm thiết bị hoặc một thiết bị, rồi nhập nhiệm vụ bằng ngôn ngữ tự nhiên.

Sau khi hoàn tất cấp quyền lần đầu, thiết bị có thể tự kết nối lại khi mất kết nối. Nếu không phát hiện được thiết bị, trước tiên hãy kiểm tra kết nối mạng LAN và trạng thái dịch vụ Android, thay vì lập tức cài lại ứng dụng.

Bốn lối vào chính

• Thiết bị: Phát hiện, kết nối, đổi tên và nhóm các thiết bị Android.
• agent: Giao nhiệm vụ, xem tiến độ, kết quả và cửa sổ nhỏ theo thời gian thực.
• Tin nhắn: Xem thông báo theo thiết bị, ứng dụng và nguồn, đồng thời tạo nhiệm vụ trả lời.
• Cài đặt: Cấu hình mô hình điều khiển chính, khả năng của thiết bị thực thi và các tùy chọn đồng bộ liên quan.

Cách dùng cơ bản: Giao nhiệm vụ cho thiết bị

Giao nhiệm vụ khác nhau cho từng thiết bị

Giả sử tên thiết bị lần lượt là A và B, bạn có thể mô tả trực tiếp nhiệm vụ của từng thiết bị:

A mở trang chủ Xiaohongshu và chụp màn hình, B mở trình duyệt để xem thời tiết hôm nay.

Sau khi gửi, bạn có thể xem tiến độ và kết quả theo từng thiết bị. Nếu cần quan sát hoặc điều chỉnh thao tác trên Android, hãy mở cửa sổ nhỏ theo thời gian thực của thiết bị tương ứng để tiếp quản bằng cách nhấp, vuốt hoặc nhập liệu.

Phối hợp hàng loạt theo nhóm thiết bị

Đối với các công việc lặp lại như sản xuất nội dung, kiểm tra hoặc vận hành, trước tiên hãy tạo nhóm thiết bị rồi dùng tên nhóm để giao nhiệm vụ:

Nhóm nội dung lần lượt tạo một bản nháp giới thiệu sản phẩm, nhóm kiểm tra xem trạng thái nhiệm vụ của từng thiết bị.
Đổi nhiệm vụ của A trong nhóm nội dung thành sắp xếp tài liệu hiện có, các thiết bị còn lại tiếp tục tạo bản nháp.

Cách mô tả này có thể đặt mục tiêu chung cho cả nhóm, đồng thời ghi đè nhiệm vụ của một thiết bị cụ thể trong nhóm.

Tạo và phân phối nội dung khác nhau

Khi cần mỗi thiết bị xử lý một tài liệu khác nhau, bạn có thể yêu cầu mô hình điều khiển chính tạo nội dung riêng rồi phân phối lần lượt:

Tạo tiêu đề, nội dung chính và thẻ hình ảnh dạng chữ khác nhau cho từng thiết bị trong nhóm nội dung,
giao lần lượt cho thiết bị tương ứng, lưu dưới dạng bản nháp, chưa đăng.

Thêm các giới hạn như “lưu dưới dạng bản nháp, chưa đăng” vào nhiệm vụ giúp thể hiện rõ phạm vi thao tác mong muốn. Việc thực thi thực tế vẫn phụ thuộc vào cấu hình mô hình, trạng thái ứng dụng mục tiêu, tình trạng đăng nhập tài khoản và các quyền hệ thống đã cấp.

Tạo và quản lý nhóm thiết bị

1. Mở trang “Thiết bị”. Lưới bên dưới hiển thị các thiết bị đã kết nối, cùng tên và nhóm của từng thiết bị.
2. Nhấp “Nhóm”, rồi chọn các thiết bị cần quản lý.
3. Chọn nhóm hiện có hoặc tạo nhóm mới.
4. Nhấp “Di chuyển N thiết bị” để hoàn tất việc di chuyển hàng loạt.

Mỗi thiết bị chỉ có thể thuộc một nhóm; sau khi di chuyển, thiết bị sẽ rời nhóm cũ. Thiết bị chưa được nhóm thủ công sẽ được đưa vào “Nhóm mặc định”.

Nhấn giữ ảnh đại diện hoặc thẻ thiết bị để đổi tên thiết bị hay di chuyển nhóm. Việc đổi tên thiết bị sẽ cố gắng đồng bộ với ứng dụng Android tương ứng, nhưng cần thiết bị thực thi hỗ trợ giao diện tương ứng.

Thông tin nhóm được lưu trên thiết bị điều khiển chính hiện tại và không tự động đồng bộ với thiết bị điều khiển chính khác. Trong môi trường có nhiều thiết bị điều khiển chính, cần duy trì nhóm riêng trên từng thiết bị.

Xem và trả lời thông báo tập trung

phongent có thể đọc thông báo Android đã được cấp quyền và sắp xếp theo thiết bị, ứng dụng và nguồn tin nhắn. Sau khi mở trang “Tin nhắn”, bạn có thể xem chi tiết thông báo và giao nhiệm vụ trả lời cho Agent trên thiết bị Android tương ứng.

1. Đảm bảo thiết bị Android mục tiêu đã được cấp quyền đọc thông báo.
2. Mở mục “Tin nhắn” trên thiết bị điều khiển chính.
3. Tìm thông báo mục tiêu theo thiết bị, ứng dụng hoặc nguồn.
4. Mở chi tiết thông báo và tạo nhiệm vụ trả lời.
5. Agent trên thiết bị Android mục tiêu sẽ thực hiện thao tác trả lời thực tế.

Nếu thiết bị điều khiển chính không hiển thị thông báo, trước tiên hãy kiểm tra quyền đọc thông báo, dịch vụ thực thi và trạng thái kết nối của thiết bị Android mục tiêu.

Mẹo sử dụng nâng cao

Giúp mô tả nhiệm vụ dễ thực thi hơn

• Ghi rõ tên thiết bị hoặc nhóm: Ví dụ “nhóm nội dung”, “nhóm kiểm tra” hoặc “thiết bị A”.
• Tách các mục tiêu khác nhau: Nêu rõ thao tác của từng thiết bị, không gộp yêu cầu của nhiều thiết bị trong một câu mơ hồ.
• Nêu trạng thái cuối: Ví dụ “chụp màn hình rồi trả về kết quả”, “lưu dưới dạng bản nháp”, “chưa đăng”.
• Ghi đè nhiệm vụ trong nhóm: Trước tiên giao mục tiêu cho cả nhóm, sau đó nêu riêng thiết bị nào cần thực hiện nhiệm vụ khác.
• Kiểm tra tài khoản trước: Với ứng dụng bên thứ ba, hãy đăng nhập tài khoản trên thiết bị Android tương ứng trước.

Sử dụng cửa sổ nhỏ theo thời gian thực hợp lý

Cửa sổ nhỏ theo thời gian thực phù hợp để quan sát quá trình Agent thao tác hoặc tiếp quản thủ công khi thao tác tự động gặp thay đổi trên trang. Tính năng này được bật mặc định; nếu không cần xem màn hình theo thời gian thực, bạn có thể tắt trong phần cài đặt.

Bảo trì thiết bị thực thi hàng loạt

Các cấu hình như bộ nhớ, kỹ năng, tác vụ định kỳ và lộ trình thao tác có thể được quản lý tập trung, đồng thời chọn thao tác trên một thiết bị hoặc nhiều thiết bị theo từng chức năng. Trước khi chỉnh sửa hàng loạt, cần xác nhận phạm vi thiết bị đã chọn để tránh áp dụng cài đặt chỉ phù hợp với một thiết bị cho cả nhóm.

Xử lý vấn đề kết nối

• Xác nhận thiết bị điều khiển chính và thiết bị thực thi đang ở cùng một mạng LAN.
• Xác nhận dịch vụ trên thiết bị Android thực thi vẫn đang chạy.
• Khi kết nối lần đầu, hãy hoàn tất cấp quyền trên thiết bị Android.
• Thiết bị đã cấp quyền có thể thử kết nối lại hoặc dùng “Kết nối một chạm” sau khi mất kết nối.
• Lưới thiết bị chỉ hiển thị các thiết bị đã kết nối; thiết bị không xuất hiện không có nghĩa là đã kết nối thành công.

Xây dựng phiên bản Android từ mã nguồn

Ứng dụng Android, giao diện điều khiển chính và dịch vụ thực thi của dự án nằm trong app/, còn các khả năng cốt lõi của Agent nằm trong core/. Việc xây dựng cần JDK 17 và Android SDK, hiện sử dụng compileSdk 36.

./gradlew :app:assembleDebug

APK gỡ lỗi sẽ được tạo trong app/build/outputs/apk/debug/. Trước khi cài đặt, cần xác nhận sản phẩm đã xây dựng được ký bằng chữ ký phát triển của chính bạn.

Xây dựng bộ điều khiển chính iOS từ mã nguồn

Việc xây dựng iOS cần macOS và Xcode hỗ trợ SDK được dự án sử dụng. Phiên bản triển khai tối thiểu là iOS 17.

1. Dùng Xcode mở ios/MikaRemote.xcodeproj.
2. Chọn scheme MikaRemote.
3. Chọn nhóm phát triển của bạn trong phần cài đặt ký.
4. Kết nối iPhone mục tiêu, sau đó xây dựng và cài đặt.

Thư mục ios/ trong kho mã chứa bộ điều khiển chính iOS, các thành phần và hoạt động trực tiếp; tools/android-emulators/ cung cấp công cụ phối hợp kiểm thử với trình giả lập Android; hướng dẫn cài đặt, giao thức và hồ sơ xác minh nằm trong docs/.

Lưu ý bảo mật: Không ghi khóa mô hình, thông tin xác thực tài khoản và tài liệu chữ ký của máy vào mã nguồn hoặc提交 vào kho phiên bản.

Tổng kết

phongent tổ chức nhiều thiết bị Android thành một môi trường thực thi Agent có thể quản lý tập trung, đồng thời cho phép dùng iPhone hoặc thiết bị Android làm bộ điều khiển chính. Sau khi hoàn tất cấp quyền cho thiết bị thực thi, kết nối mạng LAN và cấu hình mô hình điều khiển chính, bạn có thể giao nhiệm vụ cho từng thiết bị, nhóm thiết bị hoặc tất cả thiết bị, đồng thời xem kết quả, màn hình theo thời gian thực và thông báo. Dự án được phát triển dựa trên Mika và sử dụng Apache License 2.0.