Xây dựng studio nhạc và hiệu ứng âm thanh AI cục bộ với Audio Studio MCP

Audio Studio MCP biến máy tính Mac hoặc Windows cục bộ thành một studio âm thanh được hỗ trợ bởi AI cho Claude Code, Claude Desktop, Cursor và các ứng dụng khách Model Context Protocol khác. Bạn mô tả bằng ngôn ngữ tự nhiên loại âm thanh cần tạo, sau đó máy chủ sử dụng Stable Audio 3 cục bộ để tạo nhạc, vòng lặp nhạc cụ hoặc hiệu ứng âm thanh.

Vì quá trình xử lý diễn ra trên chính máy tính của bạn, dự án không yêu cầu dịch vụ đám mây hay API key. Các tệp được tạo sẽ được lưu cục bộ dưới dạng tệp WAV, kèm một tệp JSON chứa prompt, seed và các cài đặt đã dùng để tạo chúng. Sau đó, bạn có thể chỉnh sửa, lặp, chuẩn hóa và xuất kết quả để sử dụng trong game engine hoặc trình chỉnh sửa video.

Audio Studio MCP có thể làm gì

Dự án cung cấp một máy chủ MCP kết nối ứng dụng khách AI với môi trường chạy Stable Audio 3 cục bộ. Một yêu cầu như “Tạo một vòng lặp nhạc nền lo-fi BGM dài 60 giây ở 85 BPM cho cảnh quán cà phê” sẽ được gửi qua MCP, chuyển đổi thành prompt tương thích với Stable Audio và xử lý bằng backend cục bộ được hỗ trợ.

Trên Apple Silicon, Audio Studio MCP sử dụng backend MLX. Trên Windows với GPU NVIDIA, công cụ sử dụng backend PyTorch cùng CUDA. Kết quả có thể được giữ dưới dạng tệp WAV chất lượng cao hoặc xử lý thành OGG và FLAC.

Tính năng chính

• Tạo nhạc, vòng lặp nhạc cụ, stem và hiệu ứng âm thanh từ văn bản.
• Yêu cầu từ một đến bốn ứng viên trong một lần gọi.
• Định kiểu lại toàn bộ đoạn âm thanh, tạo lại một khoảng thời gian được chọn hoặc kéo dài bản nhạc hiện có.
• Tạo vòng lặp liền mạch bằng hiệu ứng crossfade.
• Cắt khoảng lặng, chuyển sang mono, thay đổi tần số lấy mẫu, áp dụng fade và chuẩn hóa âm lượng.
• Xuất âm thanh dưới dạng WAV 48 kHz, OGG hoặc FLAC thông qua xử lý hậu kỳ.
• Lưu thông tin để tái tạo kết quả trong một tệp JSON bên cạnh mỗi tệp âm thanh.
• Tự động giải phóng model sau một khoảng thời gian không hoạt động hoặc giải phóng thủ công khi cần thu hồi bộ nhớ.

Yêu cầu hệ thống

macOS với Apple Silicon

• Máy Mac Apple Silicon, chẳng hạn M1 hoặc mới hơn.
• Khuyến nghị RAM 16 GB.
• Khoảng 6 GB dung lượng đĩa cho model medium.
• git và ffmpeg.

Windows với GPU NVIDIA

• Windows 10 hoặc Windows 11 64-bit.
• GPU NVIDIA có ít nhất 8 GB VRAM và driver hiện tại.
• Khoảng 14 GB dung lượng đĩa cho model và PyTorch.
• git và ffmpeg.
• Tài khoản Hugging Face miễn phí.

> Intel Mac và GPU AMD không được hỗ trợ. Linux với GPU NVIDIA có thể hoạt động với backend PyTorch, nhưng repository mô tả hỗ trợ Linux là chưa được kiểm thử và không cung cấp trình cài đặt cho nền tảng này.

Cài đặt trên macOS

Trước tiên, hãy cài đặt ffmpeg nếu công cụ này chưa có trên hệ thống:

brew install ffmpeg

Sao chép repository và chạy trình cài đặt:

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
./install.sh

Trình cài đặt có thể thiết lập uv, sao chép runtime Stable Audio 3 đã được kiểm thử vào vendor/, tạo môi trường ảo và tải model medium 1.4B. Model có dung lượng khoảng 5.9 GB.

Ở cuối quá trình, trình cài đặt sẽ in ra lệnh đăng ký. Hãy chạy lệnh tương đương bằng đường dẫn thực tế đến bản sao repository của bạn:

claude mcp add --scope user audio-studio -- /path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp

Cài đặt trên Windows

Cài đặt Git và ffmpeg nếu cần:

winget install Git.Git
winget install Gyan.FFmpeg

Trước khi cài đặt dự án, hãy mở trang model Stable Audio 3 medium trên Hugging Face và chấp nhận giấy phép. Các trọng số PyTorch được giới hạn quyền truy cập, vì vậy bạn cũng phải cung cấp token truy cập Hugging Face có quyền đọc nếu trình cài đặt yêu cầu.

Sao chép repository và khởi chạy trình cài đặt PowerShell:

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
powershell -ExecutionPolicy Bypass -File install.ps1

Trình cài đặt Windows cài đặt các dependency PyTorch hỗ trợ CUDA và tải checkpoint PyTorch chính thức. Model medium có dung lượng khoảng 10.4 GB. Không bắt buộc phải có Flash Attention; runtime sẽ chuyển sang cơ chế attention tích hợp của PyTorch khi Flash Attention không khả dụng.

Đăng ký máy chủ với Claude Code bằng đường dẫn do trình cài đặt in ra hoặc điều chỉnh ví dụ sau:

claude mcp add --scope user audio-studio -- "C:\path\to\audio-studio-mcp\.venv\Scripts\audio-studio-mcp.exe"

Kết nối các ứng dụng khách MCP khác

Claude Desktop, Cursor và các ứng dụng khách tương thích có thể khởi động máy chủ từ cấu hình MCP của chúng. Thêm mục audio-studio vào tệp cấu hình phù hợp, chẳng hạn claude_desktop_config.json hoặc .cursor/mcp.json:

{
  "mcpServers": {
    "audio-studio": {
      "command": "/path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp"
    }
  }
}

Trên Windows, hãy sử dụng tệp thực thi bên trong .venv\Scripts. Vì đây là JSON, dấu gạch chéo ngược phải được nhân đôi:

{
  "mcpServers": {
    "audio-studio": {
      "command": "C:\\path\\to\\audio-studio-mcp\\.venv\\Scripts\\audio-studio-mcp.exe"
    }
  }
}

Tạo đoạn âm thanh đầu tiên

Sau khi đăng ký máy chủ, hãy sử dụng ngôn ngữ tự nhiên trong ứng dụng khách MCP. Ví dụ:

• Tạo một vòng lặp BGM lo-fi dài 60 giây ở 85 BPM cho cảnh quán cà phê và cung cấp cho tôi ba phiên bản.
• Tạo tiếng cửa gỗ nặng sầm lại trong hành lang bằng đá và xuất dưới dạng OGG cho Godot.
• Tạo một đoạn không khí ngắn gồm tiếng mưa và sấm cho khu rừng ngoài trời vào ban đêm.

Máy chủ cung cấp công cụ generate_audio để tạo âm thanh từ văn bản. Công cụ hỗ trợ các loại nhạc, nhạc cụ, hiệu ứng âm thanh và âm thanh thô. Với nhạc, hãy bao gồm thể loại, tâm trạng, nhạc cụ, các lớp âm thanh bổ trợ, nhịp điệu và nhịp độ. Với hiệu ứng âm thanh, hãy mô tả nguồn phát, hành động, chất liệu và không gian.

Theo mặc định, các tệp được tạo sẽ được ghi vào thư mục outputs/ của kho mã. Định dạng tiêu chuẩn là WAV stereo 44.1 kHz, 24-bit. Mỗi tệp có một tệp JSON đi kèm chứa thông tin chi tiết về quá trình tạo.

Yêu cầu nhiều phiên bản

Kết quả có thể thay đổi đáng kể tùy theo seed. Khi muốn so sánh các phương án, hãy yêu cầu từ hai đến bốn phiên bản:

Tạo bốn phiên bản nhạc phiêu lưu 8-bit sôi động ở 150 BPM, với giai điệu sóng vuông tươi sáng và trống giàu năng lượng.

Máy chủ gán các seed liên tiếp cho những phiên bản này. Bạn cũng có thể cung cấp một seed cụ thể để tạo kết quả có thể tái lập, hoặc bỏ qua seed và sử dụng -1 cho seed ngẫu nhiên.

Chỉnh sửa âm thanh đã tạo

Sử dụng edit_audio khi kết quả tạo ban đầu đã gần đạt yêu cầu nhưng cần thay đổi. Công cụ hỗ trợ ba chế độ:

• Variation: tạo lại phong cách của toàn bộ đoạn âm thanh.
• Inpaint: tạo lại một khoảng thời gian đã chọn.
• Continue: kéo dài bản nhạc vượt quá thời lượng hiện tại.

Ví dụ, bạn có thể yêu cầu ứng dụng khách kéo dài một bản nhạc 20 giây thành 40 giây, hoặc tạo lại một phần có vấn đề thay vì tạo lại toàn bộ tệp:

Kéo dài bản nhạc này thành 90 giây, giữ nguyên phong cách và năng lượng.

Tạo lại phần từ giây 8 đến giây 12 để đoạn chuyển tiếp mượt mà hơn.

README lưu ý rằng các chỉ dẫn thời gian chính xác, chẳng hạn như yêu cầu cao trào xảy ra ở một giây cụ thể, không được mô hình tuân thủ ổn định. Quy trình đáng tin cậy hơn là tạo đoạn âm thanh trước, sau đó sử dụng inpaint hoặc continue để thay đổi cấu trúc.

Xử lý và xuất âm thanh

Công cụ process_audio áp dụng các thao tác hoàn thiện không phá hủy. Công cụ không bao giờ sửa đổi tệp đầu vào ban đầu. Các thao tác khả dụng gồm cắt, loại bỏ khoảng lặng, chuyển sang mono, lấy mẫu lại, chuẩn hóa độ lớn, tạo vòng lặp liền mạch, làm mờ dần, chuẩn hóa đỉnh và chuyển đổi định dạng đầu ra.

Ví dụ:

• Chuyển hiệu ứng âm thanh này sang mono, cắt phần im lặng, áp dụng đoạn fade ngắn và xuất dưới dạng OGG.
• Tạo một vòng lặp liền mạch từ bản nhạc này, sử dụng crossfade dài hơn và xuất dưới dạng WAV.
• Chuẩn hóa bản nhạc nền trò chơi này ở mức -16 LUFS và xuất dưới dạng OGG.

Sử dụng chuẩn hóa đỉnh cho nhiều hiệu ứng âm thanh. Với chuẩn hóa độ lớn, dự án khuyến nghị khoảng -14 LUFS cho nội dung phát trực tuyến hoặc video, -16 LUFS cho nhạc nền trò chơi và -23 LUFS cho phát sóng.

Giới hạn đỉnh mặc định là -1 dB. Tùy chọn này giảm các đỉnh vượt quá giới hạn nhưng không tăng âm lượng của âm thanh nhỏ hơn. Các tệp đã xử lý giữ lại thông tin tạo ban đầu trong trường source của siêu dữ liệu.

Tránh tiếng click khi lặp

Hãy sử dụng WAV hoặc OGG khi cần tạo vòng lặp liền mạch. MP3 có thể thêm phần đệm ở đầu và cuối, khiến việc lặp chính xác không thể thực hiện. Nếu điểm nối vẫn phát ra tiếng click, hãy tăng thời lượng crossfade của vòng lặp hoặc yêu cầu mô hình tạo vòng lặp kết thúc ở vạch nhịp.

Cải thiện prompt

Stable Audio 3 hoạt động tốt nhất với các prompt tiếng Anh súc tích, dài một hoặc hai câu, thường không quá khoảng 45 từ. Tránh các thuật ngữ về giọng hát như vocals, singer hoặc lyrics, vì dự án này tạo nhạc không lời và hiệu ứng âm thanh thay vì giọng hát dễ hiểu.

Cấu trúc prompt cho nhạc

Một thứ tự hữu ích cho prompt nhạc là thể loại và tính từ mô tả, nhạc cụ chính, các lớp âm thanh bổ trợ, trống hoặc nhịp điệu và tâm trạng. Đặt nhịp độ trong tham số bpm hoặc nêu rõ trong yêu cầu.

Bản nhạc hip-hop lo-fi thư giãn với piano điện nhẹ nhàng, tiếng lách tách của đĩa vinyl êm dịu, trống đã lọc thông thấp và bass gảy mềm mại, tạo không khí thư thái, mơ màng.

Cấu trúc prompt cho hiệu ứng âm thanh

Mô tả hiệu ứng âm thanh bằng bốn thuộc tính: thứ tạo ra âm thanh, cách âm thanh phát triển, chất liệu tạo nên nó và không gian nơi âm thanh xảy ra.

nguồn: chai thủy tinh / hành động: vỡ khi va đập, các mảnh văng ra / chất liệu: thủy tinh xanh lá dày, âm đầu sắc và sáng / không gian: sàn bê tông, cận cảnh, khô

Điều chỉnh thời lượng theo nội dung được yêu cầu. Các hiệu ứng thường phù hợp với thời lượng từ một đến ba giây, hành động từ ba đến sáu giây, âm thanh môi trường từ sáu đến mười lăm giây hoặc lâu hơn, còn vòng lặp từ sáu đến hai mươi giây. Các bản nhạc hoàn chỉnh có thể dài hơn, trong đó mô hình medium hỗ trợ thời lượng lên đến 380 giây.

Cài đặt mặc định chính thức là steps=8 và cfg=1.0. Nếu cần bám sát prompt hơn hoặc muốn sử dụng negative prompt, hãy thử giá trị CFG từ 3 đến 7, lưu ý rằng quá trình tạo có thể mất thời gian lâu hơn khoảng hai lần.

Chọn mô hình và cấu hình máy chủ

Mô hình mặc định là medium, mang lại chất lượng tốt nhất và hỗ trợ thời lượng lên đến 380 giây. Các mô hình nhỏ hơn là sm-music và sm-sfx có tốc độ nhanh hơn và hỗ trợ thời lượng lên đến 120 giây.

Thiết lập các giá trị cấu hình thông qua lệnh đăng ký MCP hoặc khối môi trường của ứng dụng khách. Các biến quan trọng gồm:

• AUDIO_STUDIO_OUTPUT_DIR: thay đổi thư mục đầu ra. Mặc định là <repo>/outputs.
• AUDIO_STUDIO_IDLE_UNLOAD_MIN: giải phóng bộ nhớ mô hình sau số phút không hoạt động được chỉ định. Đặt thành 0 để tắt tính năng tự động giải phóng.
• AUDIO_STUDIO_SA3_MODEL: chọn medium, sm-music hoặc sm-sfx.
• AUDIO_STUDIO_MLX_CACHE_GB: giới hạn bộ nhớ đệm bộ đệm MLX trên macOS.
• AUDIO_STUDIO_DEVICE: chọn thiết bị PyTorch như cuda, cuda:1 hoặc cpu.
• AUDIO_STUDIO_BACKEND: chọn auto, sa3-mlx hoặc sa3-torch.
• AUDIO_STUDIO_FFMPEG: chỉ định tệp thực thi ffmpeg khi ffmpeg không nằm trong PATH.

Chia sẻ một tiến trình máy chủ luôn sẵn sàng

Thông thường, mỗi phiên ứng dụng khách sẽ khởi động một tiến trình máy chủ riêng. Mô hình được tải ở yêu cầu đầu tiên và được giải phóng sau thời gian chờ không hoạt động. Nếu nhiều phiên cần chia sẻ một tiến trình luôn sẵn sàng, hãy chạy Audio Studio MCP dưới dạng máy chủ HTTP cục bộ:

.venv/bin/audio-studio-mcp --http 8765 --preload
claude mcp add --scope user --transport http audio-studio http://127.0.0.1:8765/mcp

Trên Windows, hãy khởi động tệp thực thi từ môi trường ảo:

.venv\Scripts\audio-studio-mcp.exe --http 8765 --preload

Máy chủ HTTP chỉ lắng nghe trên 127.0.0.1, nên vẫn cục bộ trên máy tính.

Quản lý bộ nhớ và hiệu năng

Trên máy Mac M1 có 16 GB bộ nhớ, mô hình medium sử dụng khoảng 5–7 GB khi được tải. Trên RTX 3060, mức sử dụng đạt đỉnh khoảng 5.3 GB VRAM theo các phép đo trong kho lưu trữ. Sử dụng công cụ unload_models để giải phóng bộ nhớ mô hình ngay lập tức hoặc cấu hình AUDIO_STUDIO_IDLE_UNLOAD_MIN để tự động dọn dẹp.

Các mô hình nhỏ có thể giảm đáng kể thời gian tạo đối với các đoạn âm thanh ngắn. Kho lưu trữ cho biết quá trình tạo đoạn âm thanh dài 15 giây khi mô hình sm-music đã sẵn sàng mất khoảng một giây trên máy Mac M1 và khoảng 0.7 giây trên RTX 3060. Hiệu năng thực tế phụ thuộc vào phần cứng, mô hình, thời lượng và việc mô hình đã được tải hay chưa.

Chạy kiểm thử và kiểm tra trong quá trình phát triển

Kho lưu trữ bao gồm các bài kiểm thử ngoại tuyến không yêu cầu trọng số mô hình:

uv run pytest

Để kiểm thử đầu-cuối với mô hình thực, hãy chạy smoke test. Trên macOS:

.venv/bin/python scripts/smoke_test.py

Trên Windows:

.venv\Scripts\python scripts/smoke_test.py

Mã nguồn được tổ chức xoay quanh máy chủ MCP, việc xây dựng prompt, hậu xử lý và các phần triển khai backend. Có thể thêm một nền tảng mới dưới dạng backend khác trong src/audio_studio_mcp/backends/.

Cân nhắc về giấy phép và việc sử dụng

Mã Audio Studio MCP được cấp phép theo MIT. Runtime Stable Audio 3 được tải xuống trong quá trình cài đặt, còn trọng số mô hình được phân phối theo Stability AI Community License. Hãy xem xét giấy phép mô hình trước khi sử dụng âm thanh được tạo cho mục đích thương mại. README nêu rằng, tại thời điểm viết tài liệu, giấy phép cho phép sử dụng thương mại đối với cá nhân và tổ chức có tổng doanh thu hằng năm dưới US$1 million.

Kết luận

Audio Studio MCP cung cấp quy trình cục bộ thiết thực để tạo âm thanh trò chơi, nhạc nền video, âm thanh môi trường và hiệu ứng âm thanh thông qua các yêu cầu bằng ngôn ngữ tự nhiên. Hãy cài đặt backend phù hợp với phần cứng, đăng ký máy chủ với ứng dụng khách MCP, tạo nhiều phương án và sử dụng các công cụ chỉnh sửa, xử lý để biến kết quả tốt nhất thành tệp WAV, OGG hoặc FLAC hoàn chỉnh.

Để xem các mẫu và thông tin cài đặt mới nhất, hãy truy cập kho lưu trữ Audio Studio MCP và trang mẫu.