Điều khiển an toàn iPhone và thiết bị Android bằng tác nhân AI với Pinky

Pinky là gì?

Pinky là ứng dụng máy tính miễn phí, mã nguồn mở, cho phép các tác nhân AI điều khiển một thiết bị iPhone hoặc Android thực thông qua Model Context Protocol, hay MCP. Ứng dụng chạy trên macOS, Windows và Linux, đồng thời hoạt động với các tác nhân như Claude Code, Claude Desktop, Codex, Cursor và các công cụ tương thích MCP khác.

Bạn có thể theo dõi tác nhân làm việc qua chế độ phản chiếu màn hình điện thoại của Pinky, phê duyệt các thao tác nhạy cảm, tạm dừng tác nhân, tiếp quản thủ công và xem lại bản ghi sau đó. Điều quan trọng là các quy tắc phê duyệt được thực thi bởi cổng Pinky, thay vì bởi các chỉ dẫn gửi cho tác nhân.

Trạng thái dự án: Pinky hiện đang ở giai đoạn tiền alpha. Các quy trình cốt lõi đã được sử dụng xuyên suốt trên thiết bị Android và iPhone thực, nhưng một số tổ hợp và tính năng vẫn cần được kiểm thử rộng hơn.

Tính năng chính

• Ứng dụng máy tính đa nền tảng: Pinky hỗ trợ macOS 13 trở lên, Windows 10 và 11 64-bit, cùng các bản phân phối Linux 64-bit hiện đại sử dụng glibc 2.29 trở lên và GTK 3.
• Hỗ trợ Android và iOS: Ứng dụng hỗ trợ Android 10 đến 17 và các thiết bị iPhone hoặc iPad chạy iOS 17.4 trở lên.
• Phê duyệt do cổng thực thi: Các khoản thanh toán, giao dịch và chuyển tiền mặc định phải chờ phê duyệt. Bạn cũng có thể yêu cầu phê duyệt đối với tin nhắn, đơn hàng, thao tác xóa, cuộc gọi, cài đặt, liên kết bên ngoài, thay đổi cài đặt hoặc mọi thao tác.
• Ứng dụng và trường được bảo vệ: Các ứng dụng ngân hàng, ví điện tử và trình quản lý mật khẩu mặc định bị ẩn khỏi tác nhân. Tác nhân không thể nhập vào các trường mật khẩu hoặc mã dùng một lần.
• Tiếp quản thủ công: Nhấp vào màn hình phản chiếu của điện thoại sẽ tạm dừng tác nhân cho đến khi bạn trả lại quyền điều khiển. Trên Android, chạm vào điện thoại thật cũng sẽ tạm dừng tác nhân.
• Phiên chạy được ghi lại: Pinky lưu cục bộ các bước bằng ngôn ngữ tự nhiên, ảnh chụp màn hình và bản ghi màn hình, đồng thời có thể xuất một phiên chạy dưới dạng báo cáo HTML.
• Mở khóa an toàn: Bạn có thể lưu mã PIN điện thoại trong Pinky và xác thực mỗi lần mở khóa bằng Touch ID, Windows Hello hoặc mật khẩu keyring của hệ thống. Tác nhân không nhận được mã PIN.
• Không gian làm việc Android nền: Trên Android 13 trở lên, tác nhân có thể sử dụng một màn hình phụ ẩn trong khi màn hình điện thoại chính vẫn khả dụng, tắt hoặc bị khóa.
• Ứng dụng native gọn nhẹ: Pinky sử dụng giao diện MyGo được render bằng GPU thay vì Electron hoặc webview. Dung lượng tải xuống khoảng 16–22 MB.

Yêu cầu

Máy tính

• macOS: macOS 13 trở lên trên máy Mac dùng Apple silicon hoặc Intel.
• Windows: Windows 10 hoặc Windows 11 64-bit.
• Linux: Máy tính x86-64 chạy Ubuntu 20.04, Debian 11 hoặc bản phân phối tương thích mới hơn, với glibc 2.29 trở lên và GTK 3.

Điện thoại hoặc thiết bị ảo

• Android: Android 10 đến 17 và cáp USB. Android 11 trở lên cũng có thể ghép nối qua Wireless debugging.
• iPhone hoặc iPad: iOS 17.4 trở lên và cáp USB để thiết lập ban đầu. Sau đó có thể sử dụng qua Wi-Fi.
• Thiết bị ảo tùy chọn: Pinky có thể hoạt động với trình giả lập Android được tạo trong Android Studio hoặc iOS Simulator được tạo bằng Xcode trên máy Mac.

Tác nhân AI

Bạn cần một tác nhân có thể kết nối với máy chủ MCP. README nêu tên Claude Code, Claude Desktop, Codex, Cursor, VS Code, Copilot CLI, Windsurf và Gemini trong số các công cụ được nhận diện.

Bước 1: Cài đặt Pinky

Tải gói hiện tại từ bản phát hành Pinky mới nhất.

macOS

Chọn DMG ARM64 cho máy Mac dùng Apple silicon hoặc DMG AMD64 cho máy Mac Intel. Mở image rồi kéo Pinky vào Applications.

Người dùng Homebrew có thể cài đặt bằng lệnh:

brew install --cask diygod/tap/pinky

Windows

Tải xuống và chạy pinky-setup-<version>-amd64.exe. Ứng dụng được cài đặt cho tài khoản hiện tại mà không cần quyền quản trị viên. Vì trình cài đặt chưa được ký, Windows SmartScreen có thể yêu cầu bạn chọn More info, sau đó chọn Run anyway.

Để cài đặt dạng portable, hãy tải tệp lưu trữ ZIP dành cho Windows, giải nén rồi mở Pinky.exe.

Linux

Trên Debian hoặc Ubuntu, tải gói DEB và cài đặt bằng lệnh:

sudo apt install ./pinky_<version>_amd64.deb

Trên bản phân phối tương thích khác, hãy giải nén pinky-<version>-linux-amd64.tar.gz vào thư mục riêng rồi chạy tệp thực thi pinky đi kèm.

Bước 2: Kết nối điện thoại Android

Mở Pinky và chọn Add phone, sau đó chọn Android. Pinky cung cấp hướng dẫn phù hợp với các thương hiệu phổ biến, bao gồm Xiaomi, OPPO, vivo, HONOR, HUAWEI, Samsung và Pixel.

1. Mở Settings trên điện thoại và tìm About phone.
2. Nhấn Build number bảy lần để bật Developer options.
3. Mở Settings › System › Developer options và bật USB debugging. Tên menu có thể khác nhau tùy nhà sản xuất.
4. Kết nối điện thoại với máy tính bằng cáp USB.
5. Khi Android hỏi có cho phép gỡ lỗi USB hay không, hãy nhấn Allow.
6. Chấp nhận đề nghị cài đặt Pinky Companion của Pinky. Ứng dụng đồng hành giúp đọc màn hình nhanh hơn và cho phép nhập văn bản bằng mọi ngôn ngữ.

Pinky tích hợp sẵn bản dựng riêng của adb, vì vậy thông thường không cần cài công cụ nền tảng Android. Nếu công cụ nền tảng đã được cài thông qua Android Studio, Homebrew hoặc hệ điều hành, Pinky sẽ sử dụng các công cụ hiện có và dùng chung máy chủ ADB của chúng.

Trình điều khiển USB trên Windows

Một số điện thoại Android yêu cầu trình điều khiển gỡ lỗi USB trên Windows. Pinky sẽ phát hiện thiết lập còn thiếu và hướng dẫn bạn đến trình điều khiển phù hợp của Google, Samsung hoặc nhà sản xuất. Hãy kết nối lại điện thoại sau khi cài đặt.

Quyền truy cập USB trên Linux

Linux yêu cầu các quy tắc udev cho phép Pinky truy cập thiết bị Android qua USB. Trên Debian và Ubuntu, hãy cài đặt bằng lệnh:

sudo apt install android-sdk-platform-tools-common

Người dùng Arch có thể cài đặt android-udev, còn người dùng Fedora có thể cài đặt android-tools. Bạn cũng có thể cần tham gia nhóm plugdev.

Ghép nối Android qua Wi-Fi

Android 11 trở lên có thể được ghép nối thông qua tính năng Gỡ lỗi không dây trên màn hình Thêm điện thoại. Máy tính và điện thoại nên kết nối với một mạng cho phép các thiết bị giao tiếp với nhau.

Nếu tính năng tự động phát hiện không thành công, hãy chọn Thay vào đó, ghép nối bằng mã. Trên Android, mở Ghép nối thiết bị bằng mã ghép nối, sau đó nhập địa chỉ IP, cổng và mã gồm sáu chữ số được hiển thị vào Pinky.

Android 10 không hỗ trợ Gỡ lỗi không dây. Sau khi kết nối bằng cáp, hãy sử dụng tùy chọn Thay vào đó, dùng Wi-Fi… của Pinky để chuyển kết nối sang Wi-Fi.

Bước 3: Kết nối iPhone hoặc iPad

Chọn Thêm điện thoại › iPhone và làm theo hướng dẫn thiết lập.

1. Kết nối thiết bị qua USB, mở khóa, chạm vào Tin cậy và nhập mật mã.
2. Trên Windows, cài đặt Apple Devices từ Microsoft Store hoặc cài đặt iTunes. Trên Linux, cài đặt gói usbmuxd.
3. Bật Chế độ nhà phát triển trong Cài đặt › Quyền riêng tư & Bảo mật. Pinky sẽ cung cấp tùy chọn này khi cần.
4. Cho phép thiết bị khởi động lại, mở khóa, chọn Bật và nhập mật mã.
5. Chờ Pinky gắn image ổ đĩa dành cho nhà phát triển của Apple và đánh dấu thiết bị là sẵn sàng.

Image ổ đĩa dành cho nhà phát triển

Pinky không tích hợp image ổ đĩa dành cho nhà phát triển của Apple. Trên macOS, hãy cài đặt và mở Xcode một lần để Pinky có thể sử dụng image này. Người dùng Windows và Linux có thể sao chép thư mục iOS_DDI cần thiết từ máy Mac vào thư mục của Pinky.

Nếu không có image phù hợp, Pinky có thể đề nghị tải xuống từ một mirror bên thứ ba, nhưng chỉ sau khi bạn phê duyệt rõ ràng việc tải xuống. Pinky sẽ xác minh các tệp đã tải xuống bằng các checksum dự kiến.

Khác biệt giữa các phiên bản iOS

• iOS 27 trở lên: Pinky không cài đặt ứng dụng trên điện thoại và image ổ đĩa dành cho nhà phát triển đã gắn vẫn khả dụng sau khi khởi động lại.
• iOS 17.4 đến 26: Các thao tác chạm, vuốt và nhập liệu yêu cầu một trình trợ giúp WebDriverAgent được xây dựng và cài đặt một lần thông qua Xcode bằng Apple ID.
• Giới hạn của Apple ID miễn phí: Trình trợ giúp phải được cài đặt lại mỗi bảy ngày. Pinky sẽ bắt đầu nhắc bạn trước khi hết hạn hai ngày.
• Không có trình trợ giúp trên các phiên bản iOS cũ hơn được hỗ trợ: Pinky có thể hiển thị và đọc màn hình trên máy Mac cũng như mở ứng dụng, nhưng không thể chạm, vuốt hoặc nhập liệu.
• iOS 17.3 trở về trước: Các phiên bản này không được hỗ trợ.

Sử dụng iPhone qua Wi-Fi

Sau thiết lập USB đáng tin cậy ban đầu, Pinky có thể sử dụng iPhone hoặc iPad qua cùng mạng Wi-Fi với máy tính. Pinky tự động chuyển kết nối đang hoạt động giữa USB và Wi-Fi, cho phép tác vụ của tác nhân tiếp tục sau một khoảng tạm dừng ngắn.

Wi-Fi chậm hơn cáp, đặc biệt là khi chụp ảnh màn hình. Để tự động hóa nhanh và đáng tin cậy hơn, hãy giữ thiết bị kết nối bằng USB khi có thể.

Bước 4: Kết nối Pinky với tác nhân AI

Trong Pinky, mở Cài đặt › Tác nhân. Tìm tác nhân đã cài đặt và nhấp vào Kết nối. Pinky có thể cung cấp kết nối MCP thông qua stdio hoặc HTTP, cho phép các tác nhân được hỗ trợ trên cùng máy tính hoặc các ứng dụng khách hỗ trợ HTTP sử dụng kết nối này.

Mỗi tác nhân mới đều yêu cầu bạn phê duyệt và chỉ nhận phạm vi quyền mà bạn cấp. Trước khi bắt đầu tác vụ, hãy xem xét các quyền và cách thức an toàn thay vì cấp quyền truy cập rộng hơn mức cần thiết.

Bước 5: Cấu hình quy tắc an toàn

Mở Cài đặt › An toàn để kiểm soát những hành động nào cần xác nhận. Theo mặc định, các khoản thanh toán, giao dịch chuyển tiền và giao dịch mua bán sẽ được giữ lại để phê duyệt. Pinky cũng có thể hỏi trước khi gửi, đặt hàng, xóa, gọi điện, cài đặt, thay đổi cài đặt hoặc mở các liên kết rời khỏi ứng dụng hiện tại.

Để kiểm thử ban đầu, hãy cân nhắc yêu cầu phê duyệt cho mọi hành động. Khi đã hiểu cách tác nhân hoạt động, bạn có thể giảm số lần nhắc nhưng vẫn bảo vệ các hành động nhạy cảm.

Pinky nhận diện các nút liên quan bằng mười ngôn ngữ. Vì các bước kiểm tra được thực hiện trong cổng kết nối của Pinky, tác nhân không thể tự phê duyệt hành động bị chặn, ngay cả khi nội dung hiển thị trên điện thoại cố gắng hướng dẫn tác nhân làm vậy.

Cách sử dụng cơ bản

Sau khi điện thoại và tác nhân đã kết nối, hãy yêu cầu tác nhân thực hiện một tác vụ trên thiết bị di động. Quy trình cơ bản có giám sát sẽ như sau:

1. Giữ màn hình phản chiếu của điện thoại Pinky luôn hiển thị.
2. Đưa ra chỉ dẫn rõ ràng cho tác nhân.
3. Theo dõi tác nhân kiểm tra và tương tác với màn hình.
4. Xem xét mọi yêu cầu phê duyệt do Pinky hiển thị.
5. Chỉ chọn Cho phép nếu hành động đang chờ đúng với ý định của bạn.
6. Điều khiển thủ công nếu tác nhân cần trợ giúp, sau đó trả lại quyền điều khiển khi sẵn sàng.
7. Xem lại các bước đã ghi sau khi chạy.

Ví dụ, bạn có thể yêu cầu:

Mở Tin nhắn, nhập câu trả lời cho cuộc trò chuyện đã chọn và chờ trước khi gửi.

Nếu việc gửi tin nhắn được cấu hình để yêu cầu phê duyệt, Pinky sẽ giữ hành động gửi cuối cùng cho đến khi bạn cho phép.

Tiếp quản hoặc dừng tác nhân

Nhấp vào màn hình điện thoại được phản chiếu để tạm dừng tác nhân và giành quyền điều khiển. Trên Android, việc tương tác với thiết bị thực cũng sẽ tạm dừng quá trình tự động hóa. Trao lại quyền điều khiển thông qua Pinky khi bạn hoàn tất.

Để dừng mọi hoạt động từ bất kỳ đâu, hãy dùng ⌥⌘. trên macOS hoặc Ctrl+Alt+. trên Windows và Linux.

Xem lại và xuất các lần chạy

Pinky ghi lại mỗi lần chạy dưới dạng một chuỗi các bước bằng ngôn ngữ tự nhiên, ảnh chụp màn hình và bản ghi màn hình có đánh dấu cho từng bước. Các bản ghi này vẫn được lưu trên máy tính của bạn.

Sử dụng chúng để xác minh những gì tác nhân đã thực hiện, điều tra kết quả bất ngờ hoặc xuất báo cáo HTML để xem lại sau.

Mẹo nâng cao

Chạy Kiểm tra trên điện thoại

Mở menu ba chấm của điện thoại bên dưới màn hình phản chiếu và chọn Kiểm tra. Tính năng này cho biết ADB, kết nối, Pinky Companion, thao tác chạm, Wi-Fi và các thành phần bắt buộc khác có hoạt động hay không, kèm theo hướng dẫn sửa lỗi dành riêng cho thiết bị.

Ưu tiên USB khi hiệu suất quan trọng

Wi-Fi tiện lợi, nhưng USB thường cho độ trễ thấp hơn và ảnh chụp màn hình nhanh hơn. Hãy dùng cáp cho các tác vụ dài hoặc đòi hỏi xử lý hình ảnh nhiều, đặc biệt là trên iOS.

Kiểm tra quyền truy cập mạng cục bộ

Trên macOS, Pinky cần quyền truy cập Mạng cục bộ để phát hiện điện thoại. Bật quyền này trong Cài đặt hệ thống › Quyền riêng tư & Bảo mật › Mạng cục bộ. Trên Windows và Linux, hãy đảm bảo tường lửa cho phép Pinky sử dụng mạng cục bộ.

Tránh các mạng Wi-Fi bị cô lập

Mạng khách, mạng văn phòng và bộ định tuyến có tính năng cô lập máy khách có thể ngăn điện thoại và máy tính kết nối với nhau. Hãy sử dụng mạng gia đình thông thường, ghép nối bằng mã hoặc kết nối qua USB.

Sử dụng màn hình thứ hai của Android khi có thể

Trên Android 13 trở lên, tác nhân có thể hoạt động trên một màn hình thứ hai ẩn. Nhờ đó, màn hình chính vẫn sẵn sàng cho bạn sử dụng hoặc có thể tắt và khóa trong khi tác vụ đang chạy.

Bảo vệ các ứng dụng bị hạn chế

Các ứng dụng ngân hàng, ví điện tử và trình quản lý mật khẩu bị cấm theo mặc định. Nếu một tác vụ thực sự cần ứng dụng ngân hàng hoặc ví điện tử, chỉ cấp quyền truy cập cho tác vụ đó thay vì thay đổi rộng rãi thiết lập mặc định.

Hiểu cách iPhone hoạt động với Wi-Fi

iPhone bị khóa kết nối Wi-Fi có thể biến mất khỏi mạng khi ở trạng thái ngủ và kết nối lại sau khi được mở khóa. Trên macOS, Pinky có thể phát hiện khi dịch vụ thiết bị hệ thống mất kết nối với điện thoại và đề nghị khởi động lại dịch vụ đó sau khi được xác nhận.

Kiểm tra trạng thái hỗ trợ hiện tại

Vì Pinky đang ở giai đoạn tiền alpha, hãy tham khảo tài liệu chấp nhận của kho mã trước khi dựa vào một tổ hợp nền tảng hoặc thiết bị cụ thể. Tài liệu này mô tả những gì hiện đang hoạt động và cách kiểm tra.

Kết luận

Pinky tạo ra cầu nối thiết thực giữa các tác nhân AI tương thích với MCP và thiết bị di động thực, đồng thời vẫn giữ quyền kiểm soát trong tay con người. Cơ chế phê duyệt được thực thi tại gateway, các ứng dụng bị hạn chế, khả năng tiếp quản thủ công và bản ghi cục bộ giúp bạn thử nghiệm tự động hóa điện thoại một cách thận trọng hơn. Hãy bắt đầu với một thiết bị thử nghiệm kết nối qua USB, yêu cầu phê duyệt cho các hành động trên diện rộng, xác minh từng lần chạy và chỉ mở rộng quyền sau khi xác nhận quy trình hoạt động như mong đợi.