OpenMuse 運営中

OpenMuseはCopilotKitがオープンソースで提供する個人向けAIアシスタントです。OpenMuseはAgentにコンピューターを与え、永続ブラウザー、オプションのLinuxコンテナとファイルシステムを利用できます。タスクはバックグラウンドで継続実行でき、いつでも一時停止や引き継ぎが可能です。OpenMuseはGmail/カレンダー、PDFフォーム入力、Web監視、支出分析などに対応しています。iOS/Android/Web向けで、モデルとAPIキーは自分で設定する必要があり、開発者による二次開発に適しています。

WeChatをフォローして「オープンソース」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます
チャット操作：CopilotKitのヘッドレスチャット、AG-UIによるイベントストリーミング応答に対応。メール検索、送信/停止を一体化した入力欄を利用でき、メール、ブラウザー、PDFの結果はインラインカードで表示されます。
Agentコンピューター：永続ChromiumブラウザーとオプションのLinux Dockerコンテナを内蔵し、AgentはWeb閲覧、コマンド実行、ファイルやPDFの処理を行えます。
手動操作への引き継ぎ：いつでもブラウザーやターミナルを開いてAgentのリアルタイム操作を確認し、「Take control」で同じセッションを直接引き継いで作業を続けられます。
タスク管理：タスクには計画、進捗、承認ステップがあり、一時停止、再開、キャンセル、再試行に対応しています。フロントエンドを閉じても、タスクはサーバー側で実行を継続できます。
ドキュメント処理：メール添付のPDFを読み取り、必要なフォーム項目を確認し、入力済みのコピーを生成してレビューに回し、返信の下書きを用意します。
Gmailとカレンダー：Google OAuthで接続し、完全なメールスレッド、下書き、カレンダーイベントの作成/変更/削除に対応しています。書き込み操作には毎回手動確認が必要です。
目標追跡：目標をマイルストーンに分解でき、公開Webページの内容変更、再入荷状況、価格しきい値を定期的に確認できます。アラートは自動的に重複排除されます。
支出分析：取引CSVをインポートし、カテゴリ別集計と貯蓄目標の提案を自動生成します。
個人メモリ：名前、話し方、アバター、記憶の設定を編集でき、タスクをまたいで永続的に保持されます。

プロジェクトをローカルにクローン：ターミナルで git clone https://github.com/CopilotKit/OpenMuse.git openmuse を実行し、その後 cd openmuse でプロジェクトディレクトリに移動します。
プロジェクトの依存関係をインストール：プロジェクトルートで pnpm install --frozen-lockfile を実行し、ロックファイルに従ってすべての依存関係をインストールします。
環境変数ファイルを作成：cp .env.example .env を実行し、サンプル設定を実際に使用する環境変数ファイルへコピーします。
ログインしてCopilotKitプロジェクトを選択：npx copilotkit@latest login を実行してログインし、続けて npx copilotkit@latest project select を実行してIntelligenceプロジェクトを選択または作成します。
Intelligenceキーを書き込む：ログイン後に生成された CPK_INTELLIGENCE_API_KEY を .env ファイルにコピーします。これは会話の永続化に必須のキーです。
バックエンドAPIサービスを起動：pnpm dev を実行してAPIサービスを起動します。起動後は localhost:8787/api/health でヘルス状態を確認できます。
Webフロントエンドを起動：別のターミナルで pnpm dev:web を実行し、ブラウザーで localhost:8081 にアクセスしてアプリケーション画面を開きます。
組み込み機能を試す：チャットウィンドウで「Complete the permission slip」を送信すると、PDFフォーム入力の流れを体験できます。また、Goals → Track でWeb監視タスクを作成し、アラートをテストすることもできます。
実際のモデルを設定：.env で AGENT_BACKEND=model、MODEL=provider/model-id を設定し、選択したプロバイダー（OpenAI、Anthropic、Google）のAPIキーを入力します。
Gmailとカレンダーを接続：Google Cloud PlatformでOAuthクライアントを作成してGmailとCalendar APIを有効にし、Client IDとSecretを.envに入力します。その後、アプリケーションのAppsページでアカウント認証を完了します。
ブラウザーのワーカースレッドを起動：まず pnpm --dir apps/worker exec playwright install chromium を実行してブラウザーをインストールし、続けて pnpm dev:browser を実行してブラウザーサービスを起動します。
Linuxワークスペースを有効化：docker build -t openmuse-computer:local apps/computer を実行してコンテナイメージを構築し、COMPUTER_ENABLED=true pnpm dev でAPIを起動してワークスペースを有効にします。
モバイルアプリを起動：iOS端末では pnpm --dir apps/mobile ios、Android端末では pnpm --dir apps/mobile android を実行します。ローカルにXcodeまたはAndroidツールチェーンがインストールされている必要があります。

本格的なAgentワークスペース：永続ブラウザーとオプションのLinuxコンテナを内蔵し、Agentは実際にWebを閲覧し、コマンドを実行し、ファイルを処理できます。
常に可視化・制御可能：ユーザーはいつでもブラウザーやターミナルを開いてAgentの操作を確認し、すぐにセッションを引き継いで作業を続けられます。
バックグラウンドでタスクを継続：タスクの計画、進捗、実行記録を永続保存します。フロントエンドを閉じてもサーバー側で実行を続けられ、中断後に再開することもできます。
明確な安全境界：メール送信やカレンダー変更などの書き込み操作にはすべて手動確認が必要です。認証情報は暗号化して保存され、隠れた自動再試行はありません。
1つのコードで複数プラットフォーム：CopilotKit React Nativeを基盤とし、iOS、Android、Webを同時にカバーします。
分離・交換可能なアーキテクチャ：AG-UIプロトコルでフロントエンドとバックエンドを接続し、Agentバックエンドは互換性のある任意のharnessに置き換えられます。
すぐに使える一体型の機能：メール、カレンダー、PDFフォーム、Web監視、支出分析など、個人アシスタントに一般的なシナリオが一通り統合されています。

GitHubリポジトリ：https://github.com/CopilotKit/openmuse

メール処理：アシスタントがメールを自動で確認して関連メールを開き、添付PDFを読み取った後、不足している情報を確認します。フォームのコピーに入力し、返信を作成して、ワンクリックでの送信確認を待機します。
Web調査と情報収集：Hacker Newsを閲覧したり、テーマを調査したりできます。ブラウザーと要約結果はチャット内に直接表示され、いつでもTake controlで介入して方向を修正できます。
価格と在庫の監視：目標を設定すると商品ページを定期的に確認し、再入荷時や価格がUSDでしきい値を下回ったときに自動でアラートを送信します。限定商品の購入や価格比較に適しています。
スケジュールとイベントの管理：Gmail/カレンダーにOAuthで接続し、メール内のイベント情報を確認したり、カレンダーイベントを作成・変更したりできます。変更のたびに確認が必要です。
個人財務管理：銀行取引CSVをインポートし、カテゴリ別の支出集計と貯蓄目標の提案を自動生成して、操作可能な家計簿ダッシュボードを作成します。