Điều khiển iPhone bằng AI với Poki: Thiết lập, MCP và quy trình Agent

Poki là gì?

Poki là một dự án mã nguồn mở dành cho macOS và iOS, cho phép tác nhân AI điều khiển iPhone theo cách tương tự thao tác thông thường của người dùng. Bạn có thể kết nối Poki với một ứng dụng khách MCP như Claude Code hoặc Codex, hoặc sử dụng Poki Agent tùy chọn từ terminal hay kênh nhắn tin.

Vì Poki điều khiển một iPhone thật, nó có thể thực hiện các hành động quan trọng. Nếu bạn yêu cầu nó gửi tin nhắn, thanh toán hoặc thay đổi tài khoản, hành động đó có thể thực sự xảy ra. Nội dung màn hình cũng được gửi đến dịch vụ mô hình mà bạn đã cấu hình, vì vậy chỉ sử dụng dự án khi bạn hiểu rõ các tác động về quyền riêng tư và tài khoản.

Truy cập trang web Poki để xem lộ trình dự án và biết thêm thông tin.

Tính năng chính

• Poki MCP: Kết nối Poki với Claude Code, Codex hoặc ứng dụng khách tương thích MCP khác.
• Poki Agent: Chạy tác vụ từ terminal hoặc các kênh iMessage và Telegram đã được cấp quyền.
• Chọn thiết bị: Tự động sử dụng một iPhone đã kết nối hoặc chọn thiết bị theo UUID khi có nhiều thiết bị.
• Học từ thao tác lặp lại: Poki ghi nhớ các tác vụ trước đây và có thể chạy các tác vụ lặp lại nhanh hơn.
• Nhiều tùy chọn kết nối: Sử dụng trình mô phỏng hoặc iPhone thật được kết nối với máy Mac.
• Nền tảng mã nguồn mở: Dự án được phát hành theo giấy phép AGPL-3.0-only.

Yêu cầu

Việc cài đặt từ mã nguồn yêu cầu macOS 15 trở lên, Xcode đầy đủ, Rust, Node.js 24 trở lên và ffmpeg. Tập lệnh thiết lập sẽ kiểm tra các phần phụ thuộc còn thiếu, nhưng bạn phải cài đặt những điều kiện tiên quyết được thông báo trước khi tiếp tục.

Đối với iPhone thật, trước tiên hãy ghép nối thiết bị với máy Mac qua USB. Làm theo hướng dẫn thiết lập iPhone thật của dự án để biết chi tiết về ghép nối USB, Chế độ nhà phát triển và Wi-Fi.

Cài đặt Poki từ mã nguồn

Sao chép kho lưu trữ, truy cập thư mục của kho, chạy tập lệnh thiết lập và khởi động máy chủ:

git clone https://github.com/JosssphZhou/poki.git
cd poki
./bin/setup
npm start

Quá trình xây dựng ban đầu có thể mất vài phút. Hãy để npm start tiếp tục chạy trong khi bạn sử dụng máy chủ MCP hoặc Poki Agent.

Sử dụng gói macOS arm64 dựng sẵn

Nếu đang sử dụng máy Mac Apple Silicon, bạn có thể tải poki-v0.1.1-macos-arm64.tar.gz từ các bản phát hành của dự án. Giải nén, cài đặt các phần phụ thuộc Node và khởi động máy chủ:

tar -xzf poki-v0.1.1-macos-arm64.tar.gz
cd poki-v0.1.1
npm ci --no-audit --no-fund
npm start

Gói này bao gồm cầu nối gốc và các công cụ idevice, vì vậy không cần Rust và ./bin/setup. Bạn vẫn cần macOS trên Apple Silicon, Xcode đầy đủ, Node.js 24 trở lên, Python 3 và ffmpeg.

Kết nối ứng dụng khách MCP

Khi máy chủ đang chạy, hãy mở một terminal khác trong cùng thư mục và đăng ký Poki với ứng dụng khách MCP. Với Claude Code, hãy sử dụng:

claude mcp add --scope user poki-mcp -- node "$PWD/src/stdio.mjs"

Với Codex, hãy sử dụng:

codex mcp add poki-mcp -- node "$PWD/src/stdio.mjs"

README cũng hỗ trợ các ứng dụng khách khác chấp nhận cấu hình JSON mcpServers. Xem hướng dẫn cài đặt của dự án để biết chi tiết dành riêng cho từng ứng dụng khách và cách khắc phục sự cố.

Cài đặt và đăng nhập Poki Agent

Poki Agent là tùy chọn. Công cụ này cung cấp một tác nhân độc lập trên terminal và hỗ trợ các kênh nhắn tin đã cấu hình. Hãy để máy chủ Poki tiếp tục chạy, sau đó mở một terminal khác trong thư mục dự án và cài đặt tác nhân:

npm ci --prefix agent
export PATH="$PWD/bin:$PATH"
poki login
poki status

Theo mặc định, Poki Agent sử dụng gpt-6.1-terra với mức suy luận thấp. README khuyến nghị giữ mặc định này vì đây là thiết lập nhanh nhất đã được kiểm thử cho các tác vụ trên điện thoại. Để ghi đè mô hình, hãy đặt biến môi trường POKI_AGENT_MODEL. Xem hướng dẫn chạy Poki Agent để biết cấu hình được hỗ trợ.

Chạy tác vụ iPhone đầu tiên

Khi có một iPhone được kết nối, Poki Agent sẽ tự động chọn thiết bị đó. Để xem các thiết bị đã kết nối và UUID của chúng, hãy chạy:

node bin/call.mjs list_devices

Sau đó, bạn có thể yêu cầu tác nhân thực hiện một tác vụ. Ví dụ:

poki "Search esp32 in Chrome and summarize the top result"

Nếu có nhiều thiết bị được kết nối, hãy chỉ định thiết bị mục tiêu bằng UUID của thiết bị:

poki --device '<device UUID>' "Search esp32 in Chrome and summarize the top result"

Hãy bắt đầu với các tác vụ ít rủi ro trong khi xác minh rằng thiết bị, ứng dụng và cấu hình mô hình được sử dụng là chính xác.

Sử dụng các kênh nhắn tin

Sau khi cấu hình một kênh được cấp quyền, bạn có thể khởi động Poki Agent cho iMessage hoặc Telegram:

poki imessage
poki telegram

Thông tin thiết lập kênh và cấu hình mô hình được ghi trong tài liệu Poki Agent. Không cấp quyền cho một kênh nếu bạn chưa hiểu rõ ai có thể gửi tác vụ đến tác nhân của mình và những hành động nào các tác vụ đó có thể kích hoạt.

Cấu hình nâng cao và bảo trì

Cập nhật Poki

Sử dụng lệnh cập nhật tích hợp từ thư mục dự án:

./bin/poki update

Poki thực hiện kiểm tra bản phát hành GitHub ẩn danh hằng ngày. Để tắt việc kiểm tra này, hãy đặt:

export POKI_NO_UPDATE_CHECK=1

Sau khi cập nhật, hãy làm theo hướng dẫn cập nhật của dự án để biết các bước khởi động lại và thông tin về gói dựng sẵn.

Chọn thiết bị phù hợp

Sử dụng node bin/call.mjs list_devices trước một tác vụ khi cần xác nhận các thiết bị hiện có. Khi có nhiều thiết bị, hãy truyền UUID chính xác bằng --device thay vì dựa vào việc tự động chọn thiết bị.

Hiểu các giới hạn của iPhone vật lý

Hỗ trợ iPhone vật lý mới chỉ được xác minh trên các iPhone sử dụng giao diện tiếng Trung. Thiết bị vật lý chỉ hỗ trợ hướng dọc. Không hỗ trợ xuất vùng chứa ứng dụng và liên kết trực tiếp đến các trang con trong Cài đặt. Hãy xem tài liệu xác minh và các giới hạn đã biết của dự án trước khi thiết kế quy trình dựa trên thiết bị vật lý.

Tham khảo tài liệu về công cụ và cấu hình

Để tích hợp chuyên sâu hơn, hãy đọc tài liệu tham khảo về hoạt động của công cụ MCP và hướng dẫn cấu hình. Các tài liệu này trình bày về hoạt động của công cụ, biến môi trường và các phiên. Kho lưu trữ cũng có tài liệu về cầu nối native và bộ điều hợp trình mô phỏng.

An toàn và giấy phép

Poki điều khiển iPhone thật của bạn. Các hành động như gửi tin nhắn hoặc thực hiện thanh toán có thể diễn ra nếu bạn yêu cầu.

Poki là một dự án mã nguồn mở độc lập, không liên kết với Apple, OpenAI hoặc các nhà phát triển ứng dụng và trang web mà nó vận hành. Việc tự động hóa các dịch vụ bên thứ ba có thể vi phạm điều khoản dịch vụ của họ, và bạn chịu trách nhiệm về các hành động được thực hiện trên thiết bị và tài khoản của mình. Phần mềm được cung cấp nguyên trạng theo giấy phép AGPL-3.0-only.

Kết luận

Poki cung cấp một cách thiết thực để kết nối các công cụ AI với iPhone từ macOS. Hãy cài đặt từ mã nguồn hoặc sử dụng gói dành cho Apple Silicon, duy trì máy chủ đang chạy, đăng ký điểm cuối MCP với ứng dụng khách và sử dụng Poki Agent cho các quy trình làm việc trên terminal hoặc nhắn tin. Bắt đầu với các tác vụ có phạm vi kiểm soát, chọn thiết bị một cách rõ ràng khi cần và xem lại các giới hạn cũng như hướng dẫn an toàn của dự án trước khi bật tính năng tự động hóa rộng hơn.