メインコンテンツへ移動
AIチュートリアル

Phone UseでコンピューターやAIエージェントからiPhoneを操作する

Phone Useのインストールと設定、iPhoneコンパニオンアプリのペアリング、コンピューターからのiOS操作、AIエージェントによるタップや文字入力の許可方法を解説します。Wi-Fiの要件、プラットフォーム別のインストール方法、オプションのハードウェアブリッジについても説明します。

Phone UseでコンピューターやAIエージェントからiPhoneを操作する

Phone Useとは?

Phone Useは、iPhoneの画面をコンピューター上のウィンドウに表示するオープンソースアプリケーションです。自分でiPhoneを操作できるほか、許可を与えればClaude CodeやCodexなどのエージェントにタップや入力を実行させることもできます。

Phone Useアプリケーションのアイコン

接続はワイヤレスで、脱獄やケーブルは必要ありません。iPhoneとコンピューターを同じWi-Fiネットワークに接続してください。Phone Useは現在アルファ版ソフトウェアのため、問題が発生する場合があります。問題が起きた場合はGitHubから報告してください。

主な機能

  • ウィンドウでのiPhone操作:コンピューターからiPhoneの画面を表示できます。
  • デスクトップ入力:クリックでタップ、ドラッグでスワイプ、マウスホイールでスクロール、キーボードで文字入力ができます。
  • AIエージェントによる操作:Claude Codeなどのツールを接続し、エージェントにiPhoneのタップや入力を実行させられます。
  • 権限管理:エージェントが操作を引き継ぐ前に、iPhoneで確認を求めることができます。
  • 手動操作への復帰:いつでもエージェントから操作を取り戻せます。
  • ワイヤレスセットアップ:脱獄やUSBケーブルなしで動作します。

必要なもの

  • 同じWi-Fiネットワークに接続されたiPhoneとコンピューター。
  • Linux、macOS、またはWindows用のPhone Useデスクトップアプリケーション。
  • Phone Use iPhoneアプリケーション。現在はApp Storeで提供されていないため、Xcodeを使ってソースからビルドします。
  • macOSアプリケーションの場合は、このチュートリアルの後半で説明するハードウェアブリッジ。

デスクトップアプリケーションをインストールする

Linux

Phone Useの最新リリースからLinux用Flatpakパッケージをダウンロードします。ファイル名は次の形式です。

PhoneUse-<version>-x86_64.flatpak

ダウンロード先のディレクトリでターミナルを開き、ユーザーアカウント用にパッケージをインストールします。

flatpak install --user ./PhoneUse-<version>-x86_64.flatpak

macOS

Phone UseにはmacOS 15以降が必要です。最新リリースからPhoneUse-<version>-mac.dmgをダウンロードし、ディスクイメージを開いてPhone Useをアプリケーションフォルダにドラッグします。

MacアプリケーションにはPhone Useブリッジが必要です。接続手順を完了する前にブリッジを準備してください。

Windows

現在、パッケージ化されたWindows版は提供されていません。Windowsユーザーは、リポジトリのWindows手順に従い、Phone Useをソースからビルドして実行する必要があります。

iPhoneアプリケーションをインストールする

Phone UseコンパニオンアプリはまだApp Storeで提供されていません。Xcodeを使ってリポジトリのiOSプロジェクトからビルドし、iPhoneにインストールします。

両方のアプリケーションをインストールしたら、iPhoneとコンピューターが同じWi-Fiネットワークに接続されていることを確認します。コンピューターでPhone Useを開き、案内に従って次の設定を行います。

  1. キーボードとマウスの入力を接続する。
  2. iPhoneコンパニオンアプリをペアリングする。
  3. 画面ミラーリングを開始する。

ハードウェアブリッジをセットアップする

ブリッジはWi-Fiネットワークに接続し、iPhoneのキーボードとマウスとして認識される小型ボードです。これにより、コンピューターのBluetooth接続を空けておけます。

Phone UseではLilyGO T-Displayを推奨しています。Linuxアプリケーションで準備する手順は次のとおりです。

  1. LilyGO T-DisplayをLinuxコンピューターに接続します。
  2. Phone Useを開きます。
  3. Bridge、続いてFlash LilyGO T-Displayを選択します。
  4. アプリケーションの指示に従い、書き込みとネットワーク設定を完了します。

別の書き込み方法や技術的な詳細については、ブリッジのドキュメントを参照してください。

自分でiPhoneを操作する

ペアリングと画面ミラーリングが有効になったら、デスクトップアプリケーションでOpen iPhoneを選択します。使い慣れたデスクトップ操作でiOSを操作できます。

  • タップ:ミラーリングされたiPhoneウィンドウで目的の場所をクリックします。
  • スワイプ:スワイプしたい方向にクリックしてドラッグします。
  • スクロール:マウスホイールを回します。
  • 入力:テキストフィールドを選択し、コンピューターのキーボードで文字を入力します。

たとえば、iPhoneアプリに文字を入力するには、ミラーリングされたiPhoneを開き、アプリをクリックしてテキストフィールドを選択し、物理キーボードで入力します。

AIエージェントを接続する

Phone Useは、Claude CodeやCodexなどのツールによるAI支援操作に対応しています。Claude Codeを使うには、Phone UseデスクトップアプリケーションでConnect Claude Codeをクリックし、表示される接続手順に従います。

エージェントが操作を開始する前に、Phone UseはiPhoneで確認を求めることができます。自動操作の開始時点を確認したい場合は、この承認手順を有効にしておいてください。ミラーリングされたウィンドウでエージェントの操作を確認し、必要に応じていつでも手動操作に切り替えられます。

エージェントが実行するタスクを理解している場合にのみ、操作を許可してください。Phone Useには権限管理と操作引き継ぎの機能がありますが、デバイス上で実行される操作については利用者が責任を負います。

高度なヒントとトラブルシューティング

まずネットワークを確認する

ペアリングまたはミラーリングが機能しない場合は、両方のデバイスが同じWi-Fiネットワークに接続されていることを確認してください。これはセットアップの必須条件です。

手動操作をいつでも利用できるようにする

ミラーリングされたiPhoneのウィンドウで、エージェントが実行するタスクを監視します。いつでも操作を引き継げるため、自動化を中断して、機密性の高い手順や判断が難しい手順を自分で完了できます。

プロジェクトのドキュメントを確認する

アルファ版の問題を報告する

Phone Useはアルファ版ソフトウェアです。機能が正常に動作しない場合は、関連するセットアップの詳細を記録し、プロジェクトのGitHub課題トラッカーに報告してください。

まとめ

Phone Useを使うと、iPhoneをデスクトップウィンドウに表示し、マウス、キーボード、または承認済みのAIエージェントでワイヤレス操作できます。デスクトップアプリとiPhoneアプリをインストールし、同じWi-Fiネットワークに接続して、必要な入力接続またはブリッジを設定すれば、手動でiOSを操作したり、権限管理と操作の引き継ぎ機能を維持したままClaude Codeに接続したりできます。