メインコンテンツへ移動
AIチュートリアル

Audio Studio MCPでローカルAI音楽・効果音スタジオを構築する

このチュートリアルでは、Appleシリコン搭載MacまたはWindows NVIDIAシステムにAudio Studio MCPをインストールし、MCPクライアントに接続して、Stable Audio 3で音楽や効果音を生成する方法を説明します。さらに、編集、ループ、ラウドネスの正規化、書き出しツールを使って結果を仕上げる方法も紹介します。

約19分で読了
Audio Studio MCPでローカルAI音楽・効果音スタジオを構築する

Audio Studio MCPは、ローカルのMacまたはWindowsコンピューターを、Claude Code、Claude Desktop、Cursor、その他のModel Context Protocolクライアント向けのAI搭載サウンドスタジオに変えます。必要なオーディオを自然言語で説明すると、サーバーがStable Audio 3をローカルで使用して、音楽、楽器ループ、効果音を生成します。

処理は自分のコンピューター上で行われるため、クラウドサービスやAPIキーは必要ありません。生成されたファイルはWAVファイルとしてローカルに保存され、作成時に使用したプロンプト、シード、設定を含むJSONサイドカーファイルも作成されます。その後、結果を編集、ループ、ノーマライズし、ゲームエンジンや動画編集ソフト用に書き出せます。

Audio Studio MCPによるローカル音声生成ワークフロー

Audio Studio MCPでできること

このプロジェクトは、AIクライアントとローカルのStable Audio 3ランタイムの間をつなぐMCPサーバーを提供します。「カフェのシーン用に、85 BPMの60秒のローファイBGMループを作成して」といったリクエストはMCP経由で送信され、Stable Audio互換のプロンプトに変換された後、対応するローカルバックエンドで処理されます。

Apple Siliconでは、Audio Studio MCPはMLXバックエンドを使用します。NVIDIA GPUを搭載したWindowsでは、CUDA対応のPyTorchバックエンドを使用します。出力は高品質なWAVファイルとして保存できるほか、OGGやFLACに変換することもできます。

主な機能

  • テキストから音楽、インストゥルメンタルループ、ステム、効果音を生成。
  • 1回の呼び出しで1〜4個の候補をリクエスト。
  • クリップ全体のスタイル変更、選択した時間範囲の再生成、既存トラックの延長。
  • クロスフェードによるシームレスなループの作成。
  • 無音部分のトリミング、モノラル変換、リサンプリング、フェード適用、ラウドネスのノーマライズ。
  • 後処理により、48 kHzのWAV、OGG、FLACとしてオーディオを書き出し。
  • 各オーディオファイルの隣にJSONサイドカーファイルを保存し、再現に必要な情報を記録。
  • アイドル時間の経過後にモデルを自動アンロード、またはメモリ解放が必要なときに手動でアンロード。

システム要件

Apple Silicon搭載macOS

  • M1以降などのApple Silicon Mac。
  • 16 GBのRAMを推奨。
  • mediumモデル用に約6 GBのディスク空き容量。
  • gitおよびffmpeg。

NVIDIA GPU搭載Windows

  • 64ビット版Windows 10またはWindows 11。
  • VRAM 8 GB以上で、最新のドライバーを使用するNVIDIA GPU。
  • モデルとPyTorch用に約14 GBのディスク空き容量。
  • gitおよびffmpeg。
  • 無料のHugging Faceアカウント。

Intel MacとAMD GPUはサポートされていません。NVIDIA GPU搭載LinuxではPyTorchバックエンドが動作する可能性がありますが、リポジトリではLinuxサポートは未テストとされており、インストーラーも提供されていません。

macOSへのインストール

まず、ffmpegがまだ利用できない場合はインストールします。

brew install ffmpeg

リポジトリをクローンして、インストーラーを実行します。

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
./install.sh

インストーラーは、uvのセットアップ、テスト済みのStable Audio 3ランタイムのvendor/へのクローン、仮想環境の作成、medium 1.4Bモデルのダウンロードを行えます。モデルの容量は約5.9 GBです。

最後に、インストーラーが登録コマンドを表示します。実際のチェックアウト先のパスを使用して、同等のコマンドを実行してください。

claude mcp add --scope user audio-studio -- /path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp

Windowsへのインストール

必要に応じてGitとffmpegをインストールします。

winget install Git.Git
winget install Gyan.FFmpeg

プロジェクトをインストールする前に、Hugging FaceのStable Audio 3 mediumモデルページを開き、ライセンスに同意してください。PyTorchの重みはアクセス制限付きのため、インストーラーから求められた場合は、読み取り権限を持つHugging Faceアクセストークンも提供する必要があります。

リポジトリをクローンし、PowerShellインストーラーを起動します。

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
powershell -ExecutionPolicy Bypass -File install.ps1

WindowsインストーラーはCUDA対応のPyTorch依存関係をインストールし、公式のPyTorchチェックポイントをダウンロードします。mediumモデルの容量は約10.4 GBです。Flash Attentionは必須ではなく、利用できない場合はランタイムがPyTorch組み込みのアテンション機構にフォールバックします。

インストーラーに表示されたパスを使用してClaude Codeにサーバーを登録するか、次の例を調整してください。

claude mcp add --scope user audio-studio -- "C:\path\to\audio-studio-mcp\.venv\Scripts\audio-studio-mcp.exe"

その他のMCPクライアントを接続

Claude Desktop、Cursor、互換クライアントは、MCP設定からサーバーを起動できます。claude_desktop_config.jsonや.cursor/mcp.jsonなど、該当する設定ファイルにaudio-studioエントリを追加します。

{
  "mcpServers": {
    "audio-studio": {
      "command": "/path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp"
    }
  }
}

Windowsでは、.venv\Scripts内の実行ファイルを使用します。これはJSON形式のため、バックスラッシュは2つ重ねる必要があります:

{
  "mcpServers": {
    "audio-studio": {
      "command": "C:\\path\\to\\audio-studio-mcp\\.venv\\Scripts\\audio-studio-mcp.exe"
    }
  }
}

最初のオーディオクリップを生成する

サーバーを登録したら、MCPクライアントで自然言語を使用します。例:

  • カフェのシーン用に、85 BPMの60秒のローファイBGMループを作成し、3つの候補を提示してください。
  • 石造りの廊下で重い木製ドアが閉まる効果音を作成し、Godot用にOGGとして書き出してください。
  • 夜の屋外の森に合う、短い雨と雷の環境音を生成してください。

サーバーは、テキストからオーディオを生成するgenerate_audioツールを公開します。音楽、楽器、効果音、Rawオーディオの各タイプに対応しています。音楽では、ジャンル、雰囲気、楽器、補助レイヤー、リズム、テンポを含めてください。効果音では、音源、動作、素材、空間を説明してください。

生成されたファイルは、デフォルトでリポジトリのoutputs/ディレクトリに保存されます。標準の生成形式は44.1 kHz、24ビット、ステレオWAVです。各ファイルには、生成の詳細を記録した対応するJSONサイドカーが付属します。

MCPクライアントから生成されたオーディオの結果

複数の候補をリクエストする

結果はシードによって大きく変わることがあります。候補を比較したい場合は、2〜4種類のバリエーションを依頼してください:

150 BPMで、明るい矩形波のリードと躍動感のあるドラムを使った、アップテンポな8ビットアドベンチャー音楽を4候補作成してください。

サーバーはバリエーションに連続したシードを割り当てます。再現可能な出力にするため特定のシードを指定することも、シードを省略して-1でランダムシードを使用することもできます。

生成したオーディオを編集する

初回の生成結果が近いものの変更が必要な場合は、edit_audioを使用します。このツールには3つのモードがあります:

  • Variation: クリップ全体のスタイルを変更します。
  • Inpaint: 選択した時間範囲を再生成します。
  • Continue: 現在の長さを超えてトラックを延長します。

例えば、20秒のトラックを40秒まで延長したり、ファイル全体を再作成する代わりに問題のある部分だけを再生成したりするよう、クライアントに依頼できます:

このトラックを90秒まで延長し、同じスタイルとエネルギー感を維持してください。
8秒から12秒までの部分を再生成して、トランジションがより滑らかに聞こえるようにしてください。

READMEによると、正確な秒数でクライマックスを指定するなどの細かなタイミング指示は、モデルが確実には守れません。より信頼性の高いワークフローは、まずクリップを生成し、その後、構成上の変更にinpaintまたはcontinueを使用する方法です。

オーディオを処理して書き出す

process_audioツールは、非破壊の仕上げ処理を適用します。元の入力が変更されることはありません。利用できる処理には、トリミング、無音部分の除去、モノラル変換、リサンプリング、ラウドネス正規化、シームレスループ、フェード、ピーク正規化、出力形式の変換があります。

例:

  • この効果音をモノラルにし、無音部分をトリミングして短いフェードを適用し、OGGとして書き出してください。
  • この音楽からシームレスループを作成し、より長いクロスフェードを使用してWAVとして書き出してください。
  • このゲーム用BGMトラックを-16 LUFSに正規化し、OGGとして書き出してください。

多くの効果音にはピーク正規化を使用してください。ラウドネス正規化では、プロジェクトはストリーミングまたは動画に約-14 LUFS、ゲームのBGMに-16 LUFS、放送に-23 LUFSを推奨しています。

デフォルトのピーク上限は-1 dBです。上限を超えるピークを抑えますが、音量の小さいオーディオを増幅することはありません。処理済みファイルには、メタデータのsourceフィールドに元の生成情報が保持されます。

ループ時のクリック音を避ける

シームレスループが必要な場合は、WAVまたはOGGを使用してください。MP3では先頭と末尾にパディングが追加されることがあり、正確なループができなくなります。それでもつなぎ目でクリック音が発生する場合は、ループのクロスフェード時間を長くするか、小節線上で終わるループを作成するようモデルに依頼してください。

プロンプトを改善する

Stable Audio 3は、1〜2文で構成された簡潔な英語プロンプトで最もよく機能し、通常は約45語以内に収めます。このプロジェクトは聞き取れる歌唱ではなく器楽音楽と効果音を生成するため、vocals、singer、lyricsなどのボーカル関連の語は避けてください。

音楽プロンプトの構成

音楽プロンプトでは、ジャンルと形容詞、主旋律の楽器、補助レイヤー、ドラムまたはリズム、雰囲気の順に記述すると便利です。テンポはbpmパラメーターに設定するか、リクエスト内に明確に含めてください。

リラックスした夢のような雰囲気の、まろやかなエレクトリックピアノ、柔らかなレコードノイズ、ローパスフィルターをかけたドラム、柔らかく刻むベースによるローファイ・ヒップホップのチル系トラック。

効果音プロンプトの構成

効果音は、何が音を生み出すのか、どのように変化するのか、何でできているのか、どのような空間で発生するのかという4つの属性を使って説明します。

音源: ガラス瓶 / 動作: 衝撃で粉砕し、破片が飛び散る / 素材: 厚い緑色のガラス、鋭く明るいトランジェント / 空間: コンクリートの床、クローズアップ、ドライ

要求する長さをコンテンツに合わせてください。インパクト音は通常1〜3秒、アクション音は3〜6秒、環境音は6〜15秒以上、ループは6〜20秒が適しています。フルトラックはより長くでき、mediumモデルでは最大380秒まで対応します。

公式のデフォルト設定はsteps=8とcfg=1.0です。プロンプトへの厳密な準拠が必要な場合やネガティブプロンプトを使用したい場合は、CFG値を3〜7の範囲で試してください。ただし、生成時間が約2倍になる可能性があります。

モデルを選択してサーバーを設定する

デフォルトモデルはmediumです。最高品質を提供し、最大380秒の長さに対応します。小型のsm-musicモデルとsm-sfxモデルはより高速で、最大120秒の長さに対応します。

MCP登録コマンドまたはクライアントの環境変数ブロックを通じて設定値を指定します。主な変数は次のとおりです。

  • AUDIO_STUDIO_OUTPUT_DIR: 出力ディレクトリを変更します。デフォルトは<repo>/outputsです。
  • AUDIO_STUDIO_IDLE_UNLOAD_MIN: 指定したアイドル時間（分）が経過した後にモデルメモリを解放します。自動アンロードを無効にするには0を設定します。
  • AUDIO_STUDIO_SA3_MODEL: medium、sm-music、sm-sfxのいずれかを選択します。
  • AUDIO_STUDIO_MLX_CACHE_GB: macOSでMLXバッファキャッシュの上限を設定します。
  • AUDIO_STUDIO_DEVICE: cuda、cuda:1、cpuなどのPyTorchデバイスを選択します。
  • AUDIO_STUDIO_BACKEND: auto、sa3-mlx、sa3-torchのいずれかを選択します。
  • AUDIO_STUDIO_FFMPEG: PATHにffmpegがない場合に、その実行ファイルを指定します。

1つの起動済みサーバープロセスを共有する

通常、各クライアントセッションは独自のサーバープロセスを起動します。モデルは最初のリクエスト時に読み込まれ、アイドルタイムアウト後に解放されます。複数のセッションで1つの起動済みプロセスを共有する必要がある場合は、Audio Studio MCPをローカルHTTPサーバーとして実行します。

.venv/bin/audio-studio-mcp --http 8765 --preload
claude mcp add --scope user --transport http audio-studio http://127.0.0.1:8765/mcp

Windowsでは、仮想環境の実行ファイルを起動します。

.venv\Scripts\audio-studio-mcp.exe --http 8765 --preload

HTTPサーバーは127.0.0.1でのみ待ち受けるため、コンピューター内でのみ利用できます。

メモリとパフォーマンスを管理する

メモリ16 GBのM1 Macでは、mediumモデルの読み込み中の使用量は約5〜7 GBです。RTX 3060では、リポジトリの測定でVRAM使用量が約5.3 GBに達しました。unload_modelsツールを使用するとモデルメモリをすぐに解放できます。また、AUDIO_STUDIO_IDLE_UNLOAD_MINを設定して自動クリーンアップを行うこともできます。

小型モデルを使うと、短いクリップの生成時間を大幅に短縮できます。リポジトリによると、起動済みのsm-musicで15秒の音声を生成する場合、M1 Macでは約1秒、RTX 3060では約0.7秒です。実際のパフォーマンスは、ハードウェア、モデル、長さ、モデルがすでに読み込まれているかどうかによって異なります。

テストと開発時のチェックを実行する

リポジトリには、モデルの重みを必要としないオフラインテストが含まれています。

uv run pytest

実際のモデルを使ったエンドツーエンドテストには、スモークテストを実行します。macOSでは次のコマンドを使用します。

.venv/bin/python scripts/smoke_test.py

Windowsでは次のコマンドを使用します。

.venv\Scripts\python scripts/smoke_test.py

ソースコードは、MCPサーバー、プロンプト構築、後処理、バックエンド実装を中心に構成されています。新しいプラットフォームは、src/audio_studio_mcp/backends/の下に別のバックエンドとして追加できます。

Audio Studio MCPプロジェクトの設定または出力画面

ライセンスと利用上の注意

Audio Studio MCPのコードはMITライセンスです。Stable Audio 3のランタイムはインストール時にダウンロードされ、モデルの重みはStability AI Community Licenseに基づいて配布されます。生成した音声を商用利用する前に、モデルのライセンスを確認してください。READMEによると、執筆時点では、年間総収益が100万米ドル未満の個人および組織について、商用利用が認められています。

まとめ

Audio Studio MCPは、自然言語のリクエストを通じて、ゲーム音声、動画の背景音、環境音、効果音を作成するための実用的なローカルワークフローを提供します。ハードウェアに適したバックエンドをインストールし、MCPクライアントにサーバーを登録して複数の候補を生成した後、編集・処理ツールを使って最適な結果を整ったWAV、OGG、またはFLACアセットに仕上げます。

サンプルと最新のインストール手順については、Audio Studio MCPリポジトリとサンプルページをご覧ください。