メインコンテンツへ移動
AIチュートリアル

PokiでAIを使ってiPhoneを操作する：セットアップ、MCP、エージェントワークフロー

macOSにPokiをインストールし、iPhoneを接続して、そのMCPサーバーをClaude CodeまたはCodexに登録し、Poki Agentでタスクを実行する方法を解説します。デバイスの選択、メッセージングチャネル、モデル設定、更新、安全上の重要な制限についても説明します。

約10分で読了
PokiでAIを使ってiPhoneを操作する：セットアップ、MCP、エージェントワークフロー

Pokiとは？

Pokiは、AIエージェントが通常のユーザー操作に近い方法でiPhoneを操作できる、オープンソースのmacOSおよびiOSプロジェクトです。Claude CodeやCodexなどのMCPクライアントに接続することも、ターミナルやメッセージングチャネルからオプションのPoki Agentを使用することもできます。

Pokiは実際のiPhoneを操作するため、重要な操作を実行できます。メッセージの送信、支払い、アカウントの変更を依頼すると、その操作が実際に行われる可能性があります。また、画面の内容は設定したモデルサービスに送信されるため、プライバシーとアカウントへの影響を理解したうえで使用してください。

プロジェクトのロードマップや詳しい情報については、Pokiのウェブサイトをご覧ください。

Pokiプロジェクトのインターフェース

主な機能

  • Poki MCP：Pok​​iをClaude Code、Codex、その他のMCP対応クライアントに接続できます。
  • Poki Agent：ターミナル、または承認済みのiMessageやTelegramチャネルからタスクを実行できます。
  • デバイス選択：接続されているiPhoneが1台の場合は自動的に使用し、複数ある場合はUUIDでデバイスを選択できます。
  • 反復からの学習：Pokiは過去のタスクを記憶し、繰り返しのタスクをより速く実行できます。
  • 複数の接続方法：シミュレーター、またはMacに接続した実機のiPhoneを使用できます。
  • オープンソース基盤：このプロジェクトはAGPL-3.0-onlyライセンスで公開されています。

必要条件

ソースからインストールするには、macOS 15以降、完全版のXcode、Rust、Node.js 24以降、ffmpegが必要です。セットアップスクリプトは不足している依存関係を確認しますが、続行する前に表示された前提条件をインストールする必要があります。

実機のiPhoneを使用する場合は、まずUSB経由でMacとデバイスをペアリングしてください。USBペアリング、デベロッパーモード、Wi-Fiの詳細については、プロジェクトの実機iPhoneセットアップガイドに従ってください。

ソースからPokiをインストールする

リポジトリをクローンし、そのディレクトリに移動してセットアップスクリプトを実行し、サーバーを起動します。

git clone https://github.com/JosssphZhou/poki.git
cd poki
./bin/setup
npm start

初回のビルドには数分かかる場合があります。MCPサーバーまたはPoki Agentを使用している間は、npm startを実行したままにしてください。

ビルド済みmacOS arm64パッケージを使用する

Apple Silicon Macを使用している場合は、プロジェクトのリリースからpoki-v0.1.1-macos-arm64.tar.gzをダウンロードできます。展開し、Nodeの依存関係をインストールして、サーバーを起動します。

tar -xzf poki-v0.1.1-macos-arm64.tar.gz
cd poki-v0.1.1
npm ci --no-audit --no-fund
npm start

このパッケージにはネイティブブリッジとideviceツールが含まれているため、Rustと./bin/setupは必要ありません。ただし、Apple Silicon搭載のmacOS、完全版のXcode、Node.js 24以降、Python 3、ffmpegは引き続き必要です。

MCPクライアントを接続する

サーバーを実行したまま、同じディレクトリで別のターミナルを開き、PokiをMCPクライアントに登録します。Claude Codeの場合は、次を実行します。

claude mcp add --scope user poki-mcp -- node "$PWD/src/stdio.mjs"

Codexの場合は、次を実行します。

codex mcp add poki-mcp -- node "$PWD/src/stdio.mjs"

READMEでは、mcpServers JSON設定を受け付けるその他のクライアントもサポートしています。クライアントごとの詳細やトラブルシューティングについては、プロジェクトのインストールガイドを参照してください。

Poki Agentをインストールしてサインインする

Poki Agentはオプションです。スタンドアロンのターミナルエージェントを提供し、設定したメッセージングチャネルに対応します。Pokiサーバーを実行したまま、プロジェクトディレクトリで別のターミナルを開き、エージェントをインストールします。

npm ci --prefix agent
export PATH="$PWD/bin:$PATH"
poki login
poki status

Poki Agentはデフォルトで、推論レベルを低く設定したgpt-6.1-terraを使用します。READMEでは、電話タスクでテストした中で最も高速なセットアップだったため、このデフォルトを維持することを推奨しています。モデルを上書きするには、POKI_AGENT_MODEL環境変数を設定します。対応する設定については、Poki Agentの実行ガイドを参照してください。

最初のiPhoneタスクを実行する

iPhoneが1台接続されている場合、Poki Agentはそのデバイスを自動的に選択します。接続されているデバイスとUUIDを確認するには、次を実行します。

node bin/call.mjs list_devices

その後、エージェントにタスクの実行を依頼できます。たとえば、次のようにします。

poki "Search esp32 in Chrome and summarize the top result"

複数のデバイスが接続されている場合は、UUIDで対象デバイスを指定します。

poki --device '<device UUID>' "Search esp32 in Chrome and summarize the top result"

正しいデバイス、アプリ、モデル設定が使用されていることを確認しながら、まずはリスクの低いタスクから始めてください。

メッセージングチャネルを使用する

承認済みのチャネルを設定した後、iMessageまたはTelegram用のPoki Agentを起動できます。

poki imessage
poki telegram

チャネルのセットアップとモデル設定については、Poki Agentのドキュメントに記載されています。誰がエージェントにタスクを送信でき、そのタスクによってどのような操作が実行される可能性があるのかを理解していない限り、チャネルを承認しないでください。

Pokiの自動化ワークフロー

高度な設定とメンテナンス

Pokiを更新する

プロジェクトディレクトリから組み込みの更新コマンドを使用します。

./bin/poki update

Pokiは毎日、匿名でGitHubのリリースを確認します。この確認を無効にするには、次を設定します。

export POKI_NO_UPDATE_CHECK=1

更新後は、再起動手順とビルド済みパッケージの詳細について、プロジェクトの更新手順に従ってください。

適切なデバイスを選択する

利用可能なデバイスを確認する必要がある場合は、タスクの前にnode bin/call.mjs list_devicesを実行してください。複数のデバイスがある場合は、自動選択に頼らず、--deviceに正確なUUIDを指定してください。

物理iPhoneの制限を理解する

物理iPhoneのサポートは、中国語インターフェースを使用するiPhoneでのみ検証されています。物理デバイスは縦向きのみサポートします。アプリコンテナのエクスポートと、設定アプリのサブページへの直接リンクは利用できません。物理デバイスを前提としたワークフローを設計する前に、プロジェクトの検証結果と既知の制限を確認してください。

ツールと設定のリファレンスを確認する

より深い統合を行う場合は、MCPツールの動作リファレンスと設定ガイドをお読みください。これらのドキュメントでは、ツールの動作、環境変数、セッションについて説明しています。リポジトリにはネイティブブリッジとシミュレーターアダプターについての説明もあります。

安全性とライセンス

Pokiは実際のiPhoneを操作します。メッセージの送信や支払いなどの操作は、依頼すると実行される可能性があります。

Pokiは独立したオープンソースプロジェクトであり、Apple、OpenAI、またはPokiが操作するアプリやウェブサイトの開発元とは提携していません。サードパーティサービスの自動化は、それらの利用規約に違反する可能性があります。デバイスやアカウントで実行される操作については、あなたが責任を負います。本ソフトウェアはAGPL-3.0-onlyライセンスに基づき、現状有姿で提供されます。

まとめ

Pokiを使うと、macOSからAIツールをiPhoneに接続できます。ソースからインストールするかApple Siliconパッケージを使用し、サーバーを起動したままにして、MCPエンドポイントをクライアントに登録し、ターミナルやメッセージングのワークフローにPoki Agentを使用してください。まずは管理しやすいタスクから始め、必要に応じてデバイスを明示的に選択し、より広範な自動化を有効にする前にプロジェクトの制限と安全性に関するガイダンスを確認してください。