跳到主要内容
AI教程

使用 Audio Studio MCP 构建本地 AI 音乐与音效工作室

本教程介绍如何在 Apple Silicon Mac 或搭载 NVIDIA GPU 的 Windows 系统上安装 Audio Studio MCP，将其连接到 MCP 客户端，使用 Stable Audio 3 生成音乐和音效，并通过编辑、循环、响度标准化和导出工具优化结果。

AI我搜编辑部阅读约 15 分钟
使用 Audio Studio MCP 构建本地 AI 音乐与音效工作室

Audio Studio MCP 可将本地 Mac 或 Windows 电脑变成由 AI 驱动的声音工作室，适用于 Claude Code、Claude Desktop、Cursor 以及其他 Model Context Protocol 客户端。你只需用自然语言描述所需的音频，服务器便会使用本地运行的 Stable Audio 3 生成音乐、乐器循环或音效。

由于处理过程在你自己的电脑上完成，该项目不需要云服务或 API 密钥。生成的文件会以 WAV 格式保存在本地，同时附带 JSON 元数据文件，其中包含创建音频时使用的提示词、种子和设置。之后，你可以编辑、循环、标准化并导出结果，用于游戏引擎或视频编辑器。

Audio Studio MCP 本地音频生成工作流程

Audio Studio MCP 的功能

该项目在 AI 客户端与本地 Stable Audio 3 运行时之间提供 MCP 服务器。例如，“为咖啡馆场景制作一段 85 BPM、60 秒的 lo-fi 背景音乐循环”这样的请求，会通过 MCP 发送，转换为兼容 Stable Audio 的提示词，并由受支持的本地后端处理。

在 Apple Silicon 设备上，Audio Studio MCP 使用 MLX 后端。在搭载 NVIDIA GPU 的 Windows 电脑上，它使用支持 CUDA 的 PyTorch 后端。输出可以保留为高质量 WAV 文件，也可以处理为 OGG 和 FLAC。

主要功能

  • 根据文本生成音乐、器乐循环、分轨和音效。
  • 单次调用可请求一到四个候选结果。
  • 重新设计整段音频的风格、重新生成选定时间范围，或延长现有音轨。
  • 通过交叉淡化创建无缝循环。
  • 裁剪静音、转换为单声道、重新采样、应用淡入淡出并标准化响度。
  • 通过后期处理将音频导出为 48 kHz WAV、OGG 或 FLAC。
  • 将可复现性信息保存为每个音频文件旁的 JSON 元数据文件。
  • 在空闲一段时间后自动卸载模型，也可在需要释放内存时手动卸载。

系统要求

搭载 Apple Silicon 的 macOS

  • Apple Silicon Mac，例如 M1 或更高版本。
  • 建议配备 16 GB 内存。
  • 中型模型大约需要 6 GB 磁盘空间。
  • git 和 ffmpeg。

搭载 NVIDIA GPU 的 Windows

  • 64 位 Windows 10 或 Windows 11。
  • 至少拥有 8 GB 显存并安装当前驱动的 NVIDIA GPU。
  • 模型和 PyTorch 大约需要 14 GB 磁盘空间。
  • git 和 ffmpeg。
  • 免费的 Hugging Face 账户。

不支持 Intel Mac 和 AMD GPU。搭载 NVIDIA GPU 的 Linux 可能可以使用 PyTorch 后端，但仓库将 Linux 支持描述为未经测试，也没有为其提供安装程序。

在 macOS 上安装

如果尚未安装 ffmpeg，请先安装：

brew install ffmpeg

克隆仓库并运行安装程序：

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
./install.sh

安装程序可以配置 uv，将经过测试的 Stable Audio 3 运行时克隆到 vendor/，创建虚拟环境，并下载中型 1.4B 模型。该模型大约为 5.9 GB。

安装结束时，安装程序会输出注册命令。请使用指向实际代码检出目录的路径运行对应命令：

claude mcp add --scope user audio-studio -- /path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp

在 Windows 上安装

如有需要，请安装 Git 和 ffmpeg：

winget install Git.Git
winget install Gyan.FFmpeg

安装项目之前，请在 Hugging Face 上打开 Stable Audio 3 中型模型页面并接受其许可证。PyTorch 权重受限，因此如果安装程序要求提供令牌，你还必须提供具有读取权限的 Hugging Face 访问令牌。

克隆仓库并启动 PowerShell 安装程序：

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
powershell -ExecutionPolicy Bypass -File install.ps1

Windows 安装程序会安装支持 CUDA 的 PyTorch 依赖，并下载官方 PyTorch 检查点。中型模型大约为 10.4 GB。不需要 Flash Attention；如果该功能不可用，运行时会回退到 PyTorch 内置的注意力机制。

使用安装程序输出的路径向 Claude Code 注册服务器，或参考以下示例进行调整：

claude mcp add --scope user audio-studio -- "C:\path\to\audio-studio-mcp\.venv\Scripts\audio-studio-mcp.exe"

连接其他 MCP 客户端

Claude Desktop、Cursor 及兼容客户端可以从其 MCP 配置中启动服务器。将 audio-studio 条目添加到相关配置文件中，例如 claude_desktop_config.json 或 .cursor/mcp.json：

{
  "mcpServers": {
    "audio-studio": {
      "command": "/path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp"
    }
  }
}

在 Windows 上，使用 .venv\Scripts 中的可执行文件。由于这是 JSON，反斜杠必须加倍：

{
  "mcpServers": {
    "audio-studio": {
      "command": "C:\\path\\to\\audio-studio-mcp\\.venv\\Scripts\\audio-studio-mcp.exe"
    }
  }
}

生成您的第一个音频片段

注册服务器后，在您的 MCP 客户端中使用自然语言。例如：

  • 为咖啡馆场景制作一个 85 BPM、60 秒的低保真背景音乐循环，并给我三个候选版本。
  • 制作一个沉重的木门在石砌走廊中砰然关闭的声音，并将其导出为适用于 Godot 的 OGG。
  • 为夜间户外森林生成一段简短的雨声和雷声环境音。

服务器提供 generate_audio 工具，用于文本转音频生成。它支持音乐、乐器、音效和原始音频类型。对于音乐，请包含流派、情绪、乐器、辅助层次、节奏和速度。对于音效，请描述声源、动作、材质和空间。

生成的文件默认写入仓库的 outputs/ 目录。标准生成格式为 44.1 kHz、24 位、立体声 WAV。每个文件都会附带一个匹配的 JSON 元数据文件，其中包含生成详情。

MCP 客户端生成的音频结果

请求多个候选版本

不同种子可能产生差异很大的结果。需要比较不同方案时，请请求两个到四个变体：

制作四个欢快的 150 BPM 8 位冒险音乐候选版本，配以明亮的方波主旋律和充满活力的鼓点。

服务器会为各个变体分配连续的种子。您也可以提供特定种子以获得可复现的输出，或者省略种子并使用 -1 作为随机种子。

编辑生成的音频

当初始生成结果接近目标但仍需要调整时，请使用 edit_audio。该工具支持三种模式：

  • Variation：重新设计整个片段的风格。
  • Inpaint：重新生成选定的时间范围。
  • Continue：将音轨延长至当前时长之后。

例如，您可以要求客户端将一段 20 秒的音轨延长至 40 秒，或者重新生成有问题的部分，而不是再次创建整个文件：

将这段音轨延长到 90 秒，保持相同的风格和能量。
重新生成 8 到 12 秒的部分，让过渡听起来更平滑。

README 指出，精确的时间指令（例如要求在某一秒准确达到高潮）无法被模型可靠地执行。更可靠的工作流程是先生成片段，然后使用 inpaint 或 continue 进行结构调整。

处理和导出音频

process_audio 工具用于执行非破坏性后期处理操作。它不会修改原始输入。可用操作包括裁剪、去除静音、转换为单声道、重采样、响度标准化、无缝循环、淡入淡出、峰值标准化和输出格式转换。

例如：

  • 将这个音效转换为单声道，裁剪静音，应用短淡出，并导出为 OGG。
  • 将这段音乐制作成无缝循环，使用更长的交叉淡化，并导出为 WAV。
  • 将这条游戏背景音轨标准化至 -16 LUFS，并导出为 OGG。

许多音效适合使用峰值标准化。对于响度标准化，项目建议：流媒体或视频约为 -14 LUFS，游戏背景音乐为 -16 LUFS，广播为 -23 LUFS。

默认峰值上限为 -1 dB。它会降低超过上限的峰值，但不会提升较安静的音频。处理后的文件会在其元数据的 source 字段中保留原始生成信息。

避免循环咔嗒声

需要无缝循环时，请使用 WAV 或 OGG。MP3 可能会在开头和结尾添加填充，从而无法精确循环。如果接缝处仍然有咔嗒声，请增加循环交叉淡化时长，或要求模型创建一个在小节线结束的循环。

改进提示词

Stable Audio 3 最适合简洁的英文提示词，通常为一到两句话，长度一般不超过约 45 个单词。请避免使用 vocals、singer 或 lyrics 等人声相关术语，因为该项目生成的是器乐音乐和音效，而不是可理解的歌唱。

音乐提示词结构

音乐提示词的实用顺序是：流派和形容词、主奏乐器、辅助层次、鼓点或节奏，以及情绪。请将速度放入 bpm 参数，或在请求中明确写出。

低保真嘻哈氛围音乐，配以柔和的电钢琴、轻微的黑胶唱片噪声、低通滤波鼓点和柔和的拨奏贝斯，营造放松、梦幻的氛围。

音效提示词结构

请使用四个属性描述音效：什么产生了声音、声音如何变化、由什么材质构成，以及声音发生的空间。

声源：玻璃瓶 / 动作：受到撞击后碎裂，碎片四处散落 / 材质：厚绿色玻璃，尖锐明亮的瞬态声 / 空间：混凝土地面，近距离，干声

将请求的时长与内容相匹配。冲击音通常适合一到三秒，动作音效适合三到六秒，氛围音适合六到十五秒或更长，循环音效适合六到二十秒。完整曲目可以更长，中型模型支持最长 380 秒。

官方默认设置为 steps=8 和 cfg=1.0。如果需要更严格地遵循提示词，或想使用负面提示词，可以尝试将 CFG 值设为 3 到 7，但请注意，生成时间可能会增加约一倍。

选择模型并配置服务器

默认模型为 medium，可提供最佳质量，并支持最长 380 秒的时长。较小的 sm-music 和 sm-sfx 模型速度更快，支持最长 120 秒的时长。

通过 MCP 注册命令或客户端的环境配置块设置配置值。重要变量包括：

  • AUDIO_STUDIO_OUTPUT_DIR：更改输出目录。默认值为 <repo>/outputs。
  • AUDIO_STUDIO_IDLE_UNLOAD_MIN：在指定的空闲分钟数后释放模型内存。设为 0 可禁用自动卸载。
  • AUDIO_STUDIO_SA3_MODEL：选择 medium、sm-music 或 sm-sfx。
  • AUDIO_STUDIO_MLX_CACHE_GB：限制 macOS 上的 MLX 缓冲区缓存大小。
  • AUDIO_STUDIO_DEVICE：选择 PyTorch 设备，例如 cuda、cuda:1 或 cpu。
  • AUDIO_STUDIO_BACKEND：选择 auto、sa3-mlx 或 sa3-torch。
  • AUDIO_STUDIO_FFMPEG：当 ffmpeg 不在 PATH 中时，指定其可执行文件。

共享一个常驻服务器进程

通常，每个客户端会话都会启动自己的服务器进程。模型会在首次请求时加载，并在空闲超时后释放。如果多个会话需要共享一个常驻进程，可以将 Audio Studio MCP 作为本地 HTTP 服务器运行：

.venv/bin/audio-studio-mcp --http 8765 --preload
claude mcp add --scope user --transport http audio-studio http://127.0.0.1:8765/mcp

在 Windows 上，从虚拟环境中启动可执行文件：

.venv\Scripts\audio-studio-mcp.exe --http 8765 --preload

HTTP 服务器仅监听 127.0.0.1，因此仅限本机访问。

管理内存和性能

在配备 16 GB 内存的 M1 Mac 上，中型模型加载后约占用 5–7 GB。在 RTX 3060 上，根据仓库中的测量数据，其显存峰值约为 5.3 GB。使用 unload_models 工具可立即释放模型内存，也可以配置 AUDIO_STUDIO_IDLE_UNLOAD_MIN 以自动清理。

对于较短的片段，小型模型可以显著缩短生成时间。仓库报告称，在 M1 Mac 上，使用 sm-music 进行预热后的 15 秒生成约需一秒，在 RTX 3060 上约需 0.7 秒。实际性能取决于硬件、模型、时长以及模型是否已经加载。

运行测试和开发检查

仓库包含不需要模型权重的离线测试：

uv run pytest

如需使用真实模型进行端到端测试，请运行冒烟测试。在 macOS 上：

.venv/bin/python scripts/smoke_test.py

在 Windows 上：

.venv\Scripts\python scripts/smoke_test.py

源代码围绕 MCP 服务器、提示词构建、后处理和后端实现进行组织。可以在 src/audio_studio_mcp/backends/ 下添加另一个后端，以支持新平台。

Audio Studio MCP 项目配置或输出界面

许可和使用注意事项

Audio Studio MCP 代码采用 MIT 许可证。Stable Audio 3 运行时会在安装期间下载，而模型权重则依据 Stability AI 社区许可证分发。将生成的音频用于商业用途前，请先查看模型许可证。README 声明，截至撰写时，该许可证允许个人和年总收入低于 100 万美元的组织进行商业使用。

结语

Audio Studio MCP 提供了一个实用的本地工作流，可通过自然语言请求创建游戏音频、视频背景音乐、氛围音和音效。根据硬件安装适合的后端，向 MCP 客户端注册服务器，生成多个候选结果，然后使用编辑和处理工具，将最佳结果制作成干净的 WAV、OGG 或 FLAC 素材。

如需查看示例和最新安装详情，请访问 Audio Studio MCP 仓库及其示例页面。