AI 튜토리얼

Audio Studio MCP로 로컬 AI 음악 및 효과음 스튜디오 구축하기

이 튜토리얼에서는 Apple Silicon Mac 또는 Windows NVIDIA 시스템에 Audio Studio MCP를 설치하고 MCP 클라이언트에 연결하는 방법을 설명합니다. 또한 Stable Audio 3로 음악과 효과음을 생성하고, 편집, 반복 재생, 음량 정규화 및 내보내기 도구로 결과를 다듬는 방법도 알아봅니다.

2026년 10월 19일약 17분 소요

Audio Studio MCP로 로컬 AI 음악 및 효과음 스튜디오 구축하기

Audio Studio MCP는 로컬 Mac 또는 Windows 컴퓨터를 Claude Code, Claude Desktop, Cursor 및 기타 Model Context Protocol 클라이언트를 위한 AI 기반 사운드 스튜디오로 전환합니다. 필요한 오디오를 자연어로 설명하면 서버가 Stable Audio 3를 로컬에서 사용해 음악, 악기 루프 또는 음향 효과를 생성합니다.

처리가 사용자의 컴퓨터에서 이루어지므로 클라우드 서비스나 API 키가 필요하지 않습니다. 생성된 파일은 WAV 파일로 로컬에 저장되며, 생성에 사용된 프롬프트, 시드 및 설정이 담긴 JSON 사이드카 파일도 함께 저장됩니다. 이후 결과물을 편집하고, 루프를 만들고, 정규화한 다음 게임 엔진이나 동영상 편집기로 내보낼 수 있습니다.

Audio Studio MCP의 기능

이 프로젝트는 AI 클라이언트와 로컬 Stable Audio 3 런타임 사이에서 작동하는 MCP 서버를 제공합니다. “카페 장면에 사용할 85 BPM의 60초 로파이 BGM 루프를 만들어 줘”와 같은 요청이 MCP를 통해 전달되면 Stable Audio 호환 프롬프트로 변환된 후 지원되는 로컬 백엔드에서 처리됩니다.

Apple Silicon에서는 Audio Studio MCP가 MLX 백엔드를 사용합니다. NVIDIA GPU가 장착된 Windows에서는 CUDA를 사용하는 PyTorch 백엔드를 사용합니다. 출력물은 고품질 WAV 파일로 유지하거나 후처리를 통해 OGG 및 FLAC으로 변환할 수 있습니다.

주요 기능

텍스트로 음악, 인스트루멘털 루프, 스템 및 음향 효과를 생성합니다.
한 번의 호출로 1개에서 4개의 후보를 요청할 수 있습니다.
전체 클립의 스타일을 변경하거나, 선택한 시간 범위를 다시 생성하거나, 기존 트랙을 확장할 수 있습니다.
크로스페이드를 사용해 끊김 없는 루프를 만들 수 있습니다.
무음 구간을 자르고, 모노로 변환하고, 리샘플링하고, 페이드를 적용하고, 음량을 정규화할 수 있습니다.
후처리를 통해 오디오를 48 kHz WAV, OGG 또는 FLAC으로 내보낼 수 있습니다.
각 오디오 파일과 함께 JSON 사이드카에 재현성 정보를 저장합니다.
유휴 시간이 지나면 모델을 자동으로 언로드하거나, 메모리를 확보해야 할 때 수동으로 언로드할 수 있습니다.

시스템 요구 사항

Apple Silicon이 탑재된 macOS

M1 이상과 같은 Apple Silicon Mac
16 GB RAM 권장
medium 모델에 약 6 GB의 디스크 공간
git 및 ffmpeg

NVIDIA GPU가 탑재된 Windows

64비트 Windows 10 또는 Windows 11
최소 8 GB VRAM과 최신 드라이버가 있는 NVIDIA GPU
모델과 PyTorch에 약 14 GB의 디스크 공간
git 및 ffmpeg
무료 Hugging Face 계정

Intel Mac과 AMD GPU는 지원되지 않습니다. NVIDIA GPU가 탑재된 Linux에서는 PyTorch 백엔드가 작동할 수 있지만, 저장소에서는 Linux 지원을 테스트되지 않은 상태로 설명하며 설치 프로그램도 제공하지 않습니다.

macOS에 설치

먼저 ffmpeg를 아직 사용할 수 없다면 설치합니다.

brew install ffmpeg

저장소를 복제하고 설치 프로그램을 실행합니다.

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
./install.sh

설치 프로그램은 uv를 설정하고, 테스트된 Stable Audio 3 런타임을 vendor/에 복제하고, 가상 환경을 생성하며, medium 1.4B 모델을 다운로드할 수 있습니다. 모델 크기는 약 5.9 GB입니다.

설치가 끝나면 등록 명령이 출력됩니다. 실제 체크아웃 경로를 사용해 이에 상응하는 명령을 실행합니다.

claude mcp add --scope user audio-studio -- /path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp

Windows에 설치

필요한 경우 Git과 ffmpeg를 설치합니다.

winget install Git.Git
winget install Gyan.FFmpeg

프로젝트를 설치하기 전에 Hugging Face의 Stable Audio 3 medium 모델 페이지를 열고 라이선스에 동의합니다. PyTorch 가중치는 접근이 제한되어 있으므로 설치 프로그램에서 요청하면 읽기 권한이 있는 Hugging Face 액세스 토큰도 제공해야 합니다.

저장소를 복제하고 PowerShell 설치 프로그램을 실행합니다.

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
powershell -ExecutionPolicy Bypass -File install.ps1

Windows 설치 프로그램은 CUDA가 활성화된 PyTorch 종속 항목을 설치하고 공식 PyTorch 체크포인트를 다운로드합니다. medium 모델의 크기는 약 10.4 GB입니다. Flash Attention은 필요하지 않습니다. 사용할 수 없는 경우 런타임이 PyTorch에 내장된 어텐션으로 대체합니다.

설치 프로그램이 출력한 경로를 사용해 Claude Code에 서버를 등록하거나 다음 예시를 수정합니다.

claude mcp add --scope user audio-studio -- "C:\path\to\audio-studio-mcp\.venv\Scripts\audio-studio-mcp.exe"

다른 MCP 클라이언트 연결

Claude Desktop, Cursor 및 호환 클라이언트는 MCP 구성에서 서버를 시작할 수 있습니다. claude_desktop_config.json 또는 .cursor/mcp.json과 같은 관련 구성 파일에 audio-studio 항목을 추가합니다.

{
  "mcpServers": {
    "audio-studio": {
      "command": "/path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp"
    }
  }
}

Windows에서는 .venv\Scripts 안에 있는 실행 파일을 사용하세요. JSON에서는 백슬래시를 두 번 입력해야 합니다:

{
  "mcpServers": {
    "audio-studio": {
      "command": "C:\\path\\to\\audio-studio-mcp\\.venv\\Scripts\\audio-studio-mcp.exe"
    }
  }
}

첫 번째 오디오 클립 생성

서버를 등록한 후에는 MCP 클라이언트에서 자연어를 사용하세요. 예를 들면 다음과 같습니다:

카페 장면에 사용할 85 BPM의 60초 로파이 BGM 루프를 만들고 후보 3개를 제시해 주세요.
돌로 된 복도에서 무거운 나무문이 쾅 닫히는 소리를 만들고 Godot용 OGG로 내보내 주세요.
밤의 야외 숲에 어울리는 짧은 빗소리와 천둥 분위기음을 생성해 주세요.

서버는 텍스트를 오디오로 생성하는 generate_audio 도구를 제공합니다. 음악, 악기, 효과음, 원시 오디오 유형을 지원합니다. 음악을 생성할 때는 장르, 분위기, 악기, 보조 레이어, 리듬, 템포를 포함하세요. 효과음의 경우 소리의 원천, 동작, 재질, 공간을 설명하세요.

생성된 파일은 기본적으로 저장소의 outputs/ 디렉터리에 기록됩니다. 표준 생성 형식은 44.1 kHz, 24비트, 스테레오 WAV입니다. 각 파일에는 생성 세부 정보가 담긴 대응 JSON 사이드카 파일이 함께 생성됩니다.

여러 후보 요청

시드에 따라 결과가 크게 달라질 수 있습니다. 여러 대안을 비교하려면 2~4개의 변형을 요청하세요:

150 BPM의 밝은 사각파 리드와 활기찬 드럼이 들어간 경쾌한 8비트 어드벤처 음악 후보를 4개 만들어 주세요.

서버는 변형마다 연속된 시드를 할당합니다. 재현 가능한 결과를 위해 특정 시드를 지정할 수도 있고, 시드를 생략하거나 -1을 사용해 무작위 시드를 선택할 수도 있습니다.

생성된 오디오 편집

초기 생성 결과가 원하는 것에 가깝지만 수정이 필요할 때는 edit_audio를 사용하세요. 이 도구는 세 가지 모드를 지원합니다:

Variation: 클립 전체의 스타일을 다시 지정합니다.
Inpaint: 선택한 시간 범위를 다시 생성합니다.
Continue: 현재 재생 시간 이후로 트랙을 연장합니다.

예를 들어 클라이언트에 20초 트랙을 40초까지 연장하도록 요청하거나, 파일 전체를 다시 만들지 않고 문제가 있는 구간만 다시 생성할 수 있습니다:

같은 스타일과 에너지를 유지하면서 이 트랙을 90초까지 연장해 주세요.

전환이 더 자연스럽게 들리도록 8초에서 12초 사이의 구간을 다시 생성해 주세요.

README에 따르면 정확히 특정 초에 클라이맥스를 넣는 것과 같은 정밀한 타이밍 지시는 모델이 안정적으로 따르지 못합니다. 더 신뢰할 수 있는 작업 방식은 먼저 클립을 생성한 다음 구조를 변경할 때 inpaint 또는 continue를 사용하는 것입니다.

오디오 처리 및 내보내기

process_audio 도구는 비파괴 방식으로 마무리 작업을 적용합니다. 원본 입력은 절대 수정하지 않습니다. 사용 가능한 작업에는 트리밍, 무음 제거, 모노 변환, 리샘플링, 라우드니스 정규화, 원활한 루프 생성, 페이드, 피크 정규화, 출력 형식 변환이 포함됩니다.

예를 들면 다음과 같습니다:

이 효과음을 모노로 만들고 무음을 잘라낸 뒤 짧은 페이드를 적용하고 OGG로 내보내 주세요.
이 음악으로 원활한 루프를 만들고 더 긴 크로스페이드를 사용한 다음 WAV로 내보내 주세요.
이 게임 배경 트랙을 -16 LUFS로 정규화하고 OGG로 내보내 주세요.

많은 효과음에는 피크 정규화를 사용하세요. 라우드니스 정규화의 경우 프로젝트에서는 스트리밍 또는 동영상에 약 -14 LUFS, 게임 배경 음악에 -16 LUFS, 방송에 -23 LUFS를 권장합니다.

기본 피크 상한은 -1 dB입니다. 상한을 초과하는 피크를 줄이지만 더 조용한 오디오를 증폭하지는 않습니다. 처리된 파일은 메타데이터의 source 필드에 원본 생성 정보를 보존합니다.

루프 클릭 방지

원활한 루프가 필요할 때는 WAV 또는 OGG를 사용하세요. MP3는 시작과 끝에 패딩을 추가할 수 있어 정확한 루프를 방해합니다. 그래도 이음새에서 클릭음이 발생하면 루프 크로스페이드 시간을 늘리거나 모델에 마디선에서 끝나는 루프를 만들어 달라고 요청하세요.

프롬프트 개선

Stable Audio 3는 한두 문장으로 이루어진 간결한 영어 프롬프트에서 가장 잘 작동하며, 일반적으로 약 45단어를 넘기지 않는 것이 좋습니다. 이 프로젝트는 명확한 노래가 아닌 연주 음악과 효과음을 생성하므로 vocals, singer, lyrics와 같은 보컬 관련 용어는 피하세요.

음악 프롬프트 구조

음악 프롬프트에는 장르와 형용사, 주요 악기, 보조 레이어, 드럼 또는 리듬, 분위기 순서를 사용하는 것이 좋습니다. 템포는 bpm 매개변수에 입력하거나 요청에 명확히 포함하세요.

편안하고 몽환적인 분위기를 위한 로파이 힙합 칠 트랙. 부드러운 일렉트릭 피아노, 은은한 바이닐 크랙클, 로우패스 필터를 적용한 드럼, 부드럽게 플럭하는 베이스.

효과음 프롬프트 구조

효과음은 다음 네 가지 속성을 사용해 설명하세요. 소리를 만드는 것, 소리가 변화하는 방식, 소리의 재질, 소리가 발생하는 공간입니다.

원천: 유리병 / 동작: 충격으로 산산이 깨지고 파편이 흩어짐 / 재질: 두꺼운 녹색 유리, 날카롭고 밝은 트랜지언트 / 공간: 콘크리트 바닥, 클로즈업, 건조한 음향

요청한 재생 시간에 맞춰 콘텐츠를 선택하세요. 임팩트 사운드는 보통 1~3초, 액션은 3~6초, 분위기음은 6~15초 이상, 루프는 6~20초가 적합합니다. 전체 트랙은 더 길게 만들 수 있으며, medium 모델은 최대 380초를 지원합니다.

공식 기본 설정은 steps=8 및 cfg=1.0입니다. 프롬프트를 더 엄격하게 따르게 하거나 네거티브 프롬프트를 사용하려면 CFG 값을 3~7 사이로 설정해 보세요. 단, 생성 시간이 약 2배로 늘어날 수 있습니다.

모델을 선택하고 서버 구성하기

기본 모델은 medium이며, 가장 높은 품질을 제공하고 최대 380초의 재생 시간을 지원합니다. 더 작은 sm-music 및 sm-sfx 모델은 더 빠르며 최대 120초를 지원합니다.

MCP 등록 명령 또는 클라이언트의 환경 변수 블록을 통해 구성 값을 설정하세요. 주요 변수는 다음과 같습니다.

AUDIO_STUDIO_OUTPUT_DIR: 출력 디렉터리를 변경합니다. 기본값은 <repo>/outputs입니다.
AUDIO_STUDIO_IDLE_UNLOAD_MIN: 지정한 유휴 시간(분)이 지나면 모델 메모리를 해제합니다. 자동 해제를 비활성화하려면 0으로 설정하세요.
AUDIO_STUDIO_SA3_MODEL: medium, sm-music 또는 sm-sfx를 선택합니다.
AUDIO_STUDIO_MLX_CACHE_GB: macOS에서 MLX 버퍼 캐시의 최대 용량을 설정합니다.
AUDIO_STUDIO_DEVICE: cuda, cuda:1 또는 cpu와 같은 PyTorch 디바이스를 선택합니다.
AUDIO_STUDIO_BACKEND: auto, sa3-mlx 또는 sa3-torch를 선택합니다.
AUDIO_STUDIO_FFMPEG: PATH에 ffmpeg가 없을 때 ffmpeg 실행 파일을 지정합니다.

하나의 상시 실행 서버 프로세스 공유하기

일반적으로 각 클라이언트 세션은 자체 서버 프로세스를 시작합니다. 모델은 첫 요청이 들어올 때 로드되고 유휴 시간 제한이 지나면 해제됩니다. 여러 세션에서 하나의 상시 실행 프로세스를 공유하려면 Audio Studio MCP를 로컬 HTTP 서버로 실행하세요.

.venv/bin/audio-studio-mcp --http 8765 --preload
claude mcp add --scope user --transport http audio-studio http://127.0.0.1:8765/mcp

Windows에서는 가상 환경의 실행 파일을 시작하세요.

.venv\Scripts\audio-studio-mcp.exe --http 8765 --preload

HTTP 서버는 127.0.0.1에서만 수신하므로 컴퓨터 내부에서만 사용할 수 있습니다.

메모리 및 성능 관리하기

메모리 16GB의 M1 Mac에서는 medium 모델이 로드된 상태에서 약 5~7GB를 사용합니다. RTX 3060에서는 저장소 측정 기준 VRAM 사용량이 약 5.3GB까지 증가했습니다. unload_models 도구를 사용하면 모델 메모리를 즉시 해제할 수 있으며, AUDIO_STUDIO_IDLE_UNLOAD_MIN을 설정해 자동으로 정리할 수도 있습니다.

작은 모델은 짧은 클립의 생성 시간을 크게 줄일 수 있습니다. 저장소에 따르면 M1 Mac에서 sm-music으로 15초 분량을 생성할 때 모델이 이미 로드된 상태라면 약 1초, RTX 3060에서는 약 0.7초가 걸립니다. 실제 성능은 하드웨어, 모델, 재생 시간, 모델의 사전 로드 여부에 따라 달라집니다.

테스트 및 개발 검사 실행하기

저장소에는 모델 가중치가 필요하지 않은 오프라인 테스트가 포함되어 있습니다.

uv run pytest

실제 모델을 사용하는 엔드투엔드 테스트를 실행하려면 스모크 테스트를 실행하세요. macOS에서는 다음 명령을 사용합니다.

.venv/bin/python scripts/smoke_test.py

Windows에서는 다음 명령을 사용합니다.

.venv\Scripts\python scripts/smoke_test.py

소스는 MCP 서버, 프롬프트 구성, 후처리 및 백엔드 구현을 중심으로 구성되어 있습니다. src/audio_studio_mcp/backends/ 아래에 새 백엔드를 추가하면 다른 플랫폼도 지원할 수 있습니다.

라이선스 및 사용 시 고려 사항

Audio Studio MCP 코드는 MIT 라이선스를 따릅니다. Stable Audio 3 런타임은 설치 중 다운로드되며, 모델 가중치는 Stability AI 커뮤니티 라이선스에 따라 배포됩니다. 생성된 오디오를 상업적으로 사용하기 전에 모델 라이선스를 검토하세요. README에 따르면 작성 시점 기준으로 이 라이선스는 총 연간 매출이 미화 100만 달러 미만인 개인과 조직의 상업적 사용을 허용합니다.

결론

Audio Studio MCP는 자연어 요청을 통해 게임 오디오, 동영상 배경음, 분위기음 및 효과음을 제작할 수 있는 실용적인 로컬 워크플로를 제공합니다. 하드웨어에 맞는 백엔드를 설치하고 MCP 클라이언트에 서버를 등록한 다음 여러 후보를 생성하세요. 이후 편집 및 처리 도구를 사용해 가장 좋은 결과를 깔끔한 WAV, OGG 또는 FLAC 에셋으로 완성할 수 있습니다.

샘플과 최신 설치 세부 정보는 Audio Studio MCP 저장소 및 샘플 페이지에서 확인하세요.