Jenga Studio ya Ndani ya AI ya Muziki na Athari za Sauti kwa Audio Studio MCP

Audio Studio MCP hubadilisha kompyuta ya karibu ya Mac au Windows kuwa studio ya sauti inayoendeshwa na AI kwa Claude Code, Claude Desktop, Cursor, na wateja wengine wa Model Context Protocol. Unaeleza kwa lugha rahisi sauti unayohitaji, kisha seva hutumia Stable Audio 3 ndani ya kompyuta yako kutengeneza muziki, vitanzi vya ala, au athari za sauti.

Kwa kuwa uchakataji hufanyika kwenye kompyuta yako mwenyewe, mradi huu hauhitaji huduma ya wingu au ufunguo wa API. Faili zinazozalishwa huhifadhiwa ndani ya kompyuta kama faili za WAV zikiwa na faili-saidizi ya JSON yenye kidokezo, mbegu, na mipangilio iliyotumika kuziunda. Kisha unaweza kuhariri, kuweka katika kitanzi, kusawazisha, na kuhamisha matokeo kwa injini ya mchezo au kihariri cha video.

Audio Studio MCP hufanya nini

Mradi huu hutoa seva ya MCP kati ya mteja wako wa AI na mazingira ya ndani ya Stable Audio 3. Ombi kama “Tengeneza kitanzi cha BGM cha lo-fi cha sekunde 60 kwa BPM 85 kwa mandhari ya mkahawa” hutumwa kupitia MCP, hubadilishwa kuwa kidokezo kinachoendana na Stable Audio, kisha kuchakatwa na mazingira ya ndani yanayotumika.

Kwenye Apple Silicon, Audio Studio MCP hutumia mazingira ya MLX. Kwenye Windows yenye GPU ya NVIDIA, hutumia mazingira ya PyTorch yenye CUDA. Tokeo linaweza kuhifadhiwa kama faili ya WAV yenye ubora wa juu au kuchakatwa kuwa OGG na FLAC.

Uwezo muhimu

• Tengeneza muziki, vitanzi vya ala, stemu, na athari za sauti kutoka kwenye maandishi.
• Omba hadi matokeo manne kwa simu moja.
• Badilisha mtindo wa klipu nzima, tengeneza upya sehemu teule ya muda, au ongeza urefu wa wimbo uliopo.
• Unda vitanzi visivyokatika kwa kutumia crossfade.
• Punguza ukimya, badilisha kuwa mono, badilisha kiwango cha sampuli, tumia fade, na sawazisha loudness.
• Hamisha sauti kama WAV ya 48 kHz, OGG, au FLAC kupitia uchakataji wa baadae.
• Hifadhi taarifa za uwezeshaji wa kurudia uzalishaji katika faili-saidizi ya JSON karibu na kila faili ya sauti.
• Pakia modeli kutoka kwenye kumbukumbu kiotomatiki baada ya kipindi cha kutotumika au wewe mwenyewe wakati kumbukumbu inahitajika kuachiliwa.

Mahitaji ya mfumo

macOS yenye Apple Silicon

• Mac yenye Apple Silicon, kama vile M1 au toleo jipya zaidi.
• Inapendekezwa kuwa na RAM ya 16 GB.
• Takriban 6 GB ya nafasi ya diski kwa modeli ya ukubwa wa kati.
• git na ffmpeg.

Windows yenye GPU ya NVIDIA

• Windows ya biti 64, toleo la 10 au 11.
• GPU ya NVIDIA yenye angalau 8 GB ya VRAM na kiendeshi cha sasa.
• Takriban 14 GB ya nafasi ya diski kwa modeli na PyTorch.
• git na ffmpeg.
• Akaunti ya bila malipo ya Hugging Face.

Mac za Intel na GPU za AMD hazitumiki. Linux yenye GPU ya NVIDIA huenda ikafanya kazi na mazingira ya PyTorch, lakini hazina ya mradi inaeleza kuwa msaada wa Linux haujajaribiwa na haitoi kisakinishi chake.

Sakinisha kwenye macOS

Kwanza sakinisha ffmpeg ikiwa bado haipatikani:

brew install ffmpeg

Clone hazina na uendeshe kisakinishi chake:

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
./install.sh

Kisakinishi kinaweza kusanidi uv, ku-clone mazingira ya Stable Audio 3 yaliyojaribiwa kwenye vendor/, kuunda mazingira pepe, na kupakua modeli ya kati ya 1.4B. Modeli hiyo ina takriban 5.9 GB.

Mwishoni, kisakinishi kitaonyesha amri ya usajili. Endesha amri inayolingana ukitumia njia halisi ya checkout yako:

claude mcp add --scope user audio-studio -- /path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp

Sakinisha kwenye Windows

Sakinisha Git na ffmpeg ikiwa ni lazima:

winget install Git.Git
winget install Gyan.FFmpeg

Kabla ya kusakinisha mradi, fungua ukurasa wa modeli ya Stable Audio 3 ya ukubwa wa kati kwenye Hugging Face na ukubali leseni yake. Uzito wa PyTorch umewekewa kizuizi, kwa hivyo lazima pia utoe tokeni ya ufikiaji ya Hugging Face yenye ruhusa ya kusoma ikiwa kisakinishi kitaomba.

Clone hazina na uanzishe kisakinishi cha PowerShell:

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
powershell -ExecutionPolicy Bypass -File install.ps1

Kisakinishi cha Windows husakinisha vitegemezi vya PyTorch vilivyowezeshwa na CUDA na kupakua checkpoint rasmi ya PyTorch. Modeli ya ukubwa wa kati ina takriban 10.4 GB. Flash Attention haihitajiki; mazingira ya uendeshaji hurudi kwenye attention iliyojengwa ndani ya PyTorch ikiwa haipatikani.

Sajili seva na Claude Code ukitumia njia iliyoonyeshwa na kisakinishi, au rekebisha mfano huu:

claude mcp add --scope user audio-studio -- "C:\path\to\audio-studio-mcp\.venv\Scripts\audio-studio-mcp.exe"

Unganisha wateja wengine wa MCP

Claude Desktop, Cursor, na wateja wanaoendana wanaweza kuanzisha seva kutoka kwenye usanidi wao wa MCP. Ongeza ingizo la audio-studio kwenye faili husika ya usanidi, kama vile claude_desktop_config.json au .cursor/mcp.json:

{
  "mcpServers": {
    "audio-studio": {
      "command": "/path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp"
    }
  }
}

Kwenye Windows, tumia faili linaloweza kutekelezwa lililo ndani ya .venv\Scripts. Kwa kuwa hii ni JSON, alama za backslash lazima ziwekwe mara mbili:

{
  "mcpServers": {
    "audio-studio": {
      "command": "C:\\path\\to\\audio-studio-mcp\\.venv\\Scripts\\audio-studio-mcp.exe"
    }
  }
}

Unda klipu yako ya kwanza ya sauti

Baada ya seva kusajiliwa, tumia lugha ya kawaida katika mteja wako wa MCP. Kwa mfano:

• Tengeneza kitanzi cha BGM cha lo-fi cha sekunde 60 kwa BPM 85 kwa mandhari ya mkahawa, kisha nipe chaguo tatu.
• Unda sauti ya mlango mzito wa mbao ukigongwa kwa nguvu kwenye korido ya mawe, kisha uihamishe kama OGG kwa Godot.
• Tengeneza mandhari fupi ya sauti ya mvua na radi kwa msitu wa nje usiku.

Seva hutoa zana ya generate_audio kwa ajili ya kutengeneza sauti kutoka kwenye maandishi. Inasaidia aina za muziki, ala, athari za sauti na sauti ghafi. Kwa muziki, jumuisha aina, hali, ala, tabaka saidizi, mdundo na tempo. Kwa athari za sauti, eleza chanzo, kitendo, nyenzo na nafasi.

Faili zinazotengenezwa huandikwa kwenye saraka ya outputs/ ya hazina kwa chaguo-msingi. Muundo wa kawaida unaozalishwa ni WAV ya 44.1 kHz, biti 24, stereo. Kila faili lina faili saidizi la JSON linalolingana nalo lenye maelezo ya utengenezaji.

Omba chaguo nyingi

Matokeo yanaweza kutofautiana sana kulingana na seed. Omba tofauti mbili hadi nne unapotaka kulinganisha mbadala:

Tengeneza chaguo nne za muziki wa matukio wa 8-bit wenye uchangamfu kwa BPM 150, zikiwa na ala kuu ya square-wave angavu na ngoma zenye nguvu.

Seva hutoa seed zinazofuatana kwa tofauti hizo. Unaweza pia kutoa seed maalum kwa matokeo yanayoweza kurudiwa, au kuacha seed na kutumia -1 kwa seed nasibu.

Hariri sauti iliyotengenezwa

Tumia edit_audio wakati utengenezaji wa awali umekaribia kuwa sahihi lakini unahitaji mabadiliko. Zana hii inasaidia hali tatu:

• Variation: badilisha mtindo wa klipu nzima.
• Inpaint: tengeneza upya kipindi cha muda kilichochaguliwa.
• Continue: ongeza urefu wa wimbo zaidi ya muda wake wa sasa.

Kwa mfano, unaweza kumwomba mteja aendeleze wimbo wa sekunde 20 hadi sekunde 40, au atengeneze upya sehemu yenye tatizo badala ya kuunda faili lote tena:

Endeleza wimbo huu hadi sekunde 90, ukihifadhi mtindo na nguvu ileile.

Tengeneza upya sehemu kutoka sekunde 8 hadi 12 ili mpito usikike laini zaidi.

README inaeleza kuwa maagizo ya muda sahihi, kama vile kuomba kilele katika sekunde maalum, hayafuatwi kwa kutegemewa na modeli. Mtiririko unaotegemewa zaidi ni kutengeneza klipu kwanza, kisha kutumia inpaint au continue kwa mabadiliko ya muundo.

Chakata na hamisha sauti

Zana ya process_audio hutumia shughuli za kukamilisha bila kuharibu data ya awali. Haibadilishi kamwe ingizo la asili. Shughuli zinazopatikana zinajumuisha kukata, kuondoa ukimya, kubadilisha kuwa mono, kubadilisha sampuli, kusawazisha loudness, kutengeneza kitanzi kisicho na mshono, fade, kusawazisha peak na kubadilisha muundo wa matokeo.

Kwa mfano:

• Fanya athari hii ya sauti iwe mono, kata ukimya, tumia fade fupi, kisha uihamishe kama OGG.
• Tengeneza kitanzi kisicho na mshono kutoka kwenye muziki huu, tumia crossfade ndefu zaidi, kisha uihamishe kama WAV.
• Sawazisha wimbo huu wa mandhari ya mchezo hadi -16 LUFS, kisha uihamishe kama OGG.

Tumia peak normalization kwa athari nyingi za sauti. Kwa loudness normalization, mradi unapendekeza takriban -14 LUFS kwa utiririshaji au video, -16 LUFS kwa muziki wa mandhari ya michezo, na -23 LUFS kwa utangazaji.

Kiwango chaguo-msingi cha peak ni -1 dB. Hupunguza peak zinazozidi kiwango hicho lakini haiongezi sauti iliyo chini. Faili zilizochakatwa huhifadhi maelezo ya awali ya utengenezaji katika sehemu ya source ya metadata yake.

Jinsi ya kuepuka mibofyo kwenye vitanzi

Tumia WAV au OGG unapohitaji kitanzi kisicho na mshono. MP3 inaweza kuongeza nafasi tupu mwanzoni na mwishoni, jambo linalozuia kitanzi sahihi. Ikiwa mshono bado unabofya, ongeza muda wa loop crossfade au mwombe modeli itengeneze kitanzi kinachoishia kwenye mstari wa kipimo.

Boresha maelekezo yako

Stable Audio 3 hufanya kazi vizuri zaidi kwa maelekezo mafupi ya Kiingereza yenye sentensi moja au mbili, kwa kawaida yasiyozidi takriban maneno 45. Epuka maneno yanayohusiana na sauti za kuimba kama vocals, singer au lyrics, kwa sababu mradi huu hutengeneza muziki wa ala na athari za sauti badala ya uimbaji unaoeleweka.

Muundo wa maelekezo ya muziki

Mpangilio muhimu kwa maelekezo ya muziki ni aina na vivumishi, ala kuu, tabaka saidizi, ngoma au mdundo, na hali. Weka tempo katika kigezo cha bpm au kijumuishe wazi kwenye ombi.

Wimbo wa hip-hop wa lo-fi wenye utulivu, piano ya umeme tulivu, mlio hafifu wa vinyl, ngoma zilizopitishwa kwenye low-pass filter na besi laini iliyopigwa kwa kunyofoa, kwa hali ya utulivu na ndoto.

Muundo wa maelekezo ya athari za sauti

Eleza athari za sauti kwa kutumia sifa nne: kinachounda sauti, jinsi inavyobadilika, imetengenezwa kwa nini, na nafasi inakotokea.

chanzo: chupa ya kioo / kitendo: kuvunjika inapogonga, vipande kutawanyika / nyenzo: kioo kizito cha kijani, mlio mkali na angavu wa muda mfupi / nafasi: sakafu ya zege, karibu, kavu

Linganisha muda unaohitajika na maudhui. Athari kwa kawaida hufanya kazi vizuri kwa sekunde moja hadi tatu, vitendo kwa sekunde tatu hadi sita, mazingira kwa sekunde sita hadi kumi na tano au zaidi, na mizunguko kwa sekunde sita hadi ishirini. Nyimbo kamili zinaweza kuwa ndefu zaidi, huku modeli ya medium ikisaidia hadi sekunde 380.

Mipangilio rasmi ya chaguo-msingi ni steps=8 na cfg=1.0. Ikiwa unahitaji ufuasi mkali zaidi wa maelekezo au ungependa kutumia maelekezo hasi, jaribu thamani ya CFG kati ya 3 na 7, ukizingatia kwamba uundaji unaweza kuchukua karibu mara mbili ya muda.

Chagua modeli na sanidi seva

Modeli ya chaguo-msingi ni medium, ambayo hutoa ubora bora zaidi na inasaidia muda wa hadi sekunde 380. Modeli ndogo za sm-music na sm-sfx ni za haraka zaidi na zinasaidia muda wa hadi sekunde 120.

Weka thamani za usanidi kupitia amri ya usajili wa MCP au sehemu ya mazingira ya mteja wako. Vigezo muhimu ni pamoja na:

• AUDIO_STUDIO_OUTPUT_DIR: hubadilisha saraka ya matokeo. Chaguo-msingi ni <repo>/outputs.
• AUDIO_STUDIO_IDLE_UNLOAD_MIN: huachilia kumbukumbu ya modeli baada ya idadi maalum ya dakika za kutotumika. Weka 0 ili kuzima uondoaji kiotomatiki.
• AUDIO_STUDIO_SA3_MODEL: huchagua medium, sm-music, au sm-sfx.
• AUDIO_STUDIO_MLX_CACHE_GB: huweka kikomo cha akiba ya bafa ya MLX kwenye macOS.
• AUDIO_STUDIO_DEVICE: huchagua kifaa cha PyTorch kama vile cuda, cuda:1, au cpu.
• AUDIO_STUDIO_BACKEND: huchagua auto, sa3-mlx, au sa3-torch.
• AUDIO_STUDIO_FFMPEG: hubainisha kitekelezi cha ffmpeg wakati hakipo kwenye PATH.

Shiriki mchakato mmoja wa seva ulio tayari

Kwa kawaida, kila kipindi cha mteja huanzisha mchakato wake wa seva. Modeli hupakiwa kwenye ombi la kwanza na kuachiliwa baada ya muda wa kutotumika. Ikiwa vipindi kadhaa vinahitaji kushiriki mchakato mmoja ulio tayari, endesha Audio Studio MCP kama seva ya ndani ya HTTP:

.venv/bin/audio-studio-mcp --http 8765 --preload
claude mcp add --scope user --transport http audio-studio http://127.0.0.1:8765/mcp

Kwenye Windows, anzisha kitekelezi kutoka kwenye mazingira pepe:

.venv\Scripts\audio-studio-mcp.exe --http 8765 --preload

Seva ya HTTP husikiliza kwenye 127.0.0.1 pekee, hivyo inabaki kuwa ya ndani ya kompyuta.

Dhibiti kumbukumbu na utendaji

Kwenye Mac ya M1 yenye 16 GB za kumbukumbu, modeli ya medium hutumia takriban GB 5–7 inapopakiwa. Kwenye RTX 3060, ilifikia kilele cha takriban GB 5.3 za VRAM katika vipimo vya hazina. Tumia zana ya unload_models ili kuachilia kumbukumbu ya modeli mara moja, au sanidi AUDIO_STUDIO_IDLE_UNLOAD_MIN kwa usafishaji kiotomatiki.

Modeli ndogo zinaweza kupunguza kwa kiasi kikubwa muda wa uundaji wa klipu fupi. Hazina inaripoti kwamba uundaji wa sekunde 15 ukiwa tayari, kwa kutumia sm-music, huchukua takriban sekunde moja kwenye Mac ya M1 na takriban sekunde 0.7 kwenye RTX 3060. Utendaji halisi hutegemea maunzi, modeli, muda, na ikiwa modeli tayari imepakiwa.

Endesha majaribio na ukaguzi wa uundaji

Hazina inajumuisha majaribio ya nje ya mtandao ambayo hayahitaji uzani wa modeli:

uv run pytest

Kwa jaribio la mwisho hadi mwisho linalotumia modeli halisi, endesha jaribio la smoke. Kwenye macOS:

.venv/bin/python scripts/smoke_test.py

Kwenye Windows:

.venv\Scripts\python scripts/smoke_test.py

Chanzo kimepangwa kuzunguka seva ya MCP, uundaji wa maelekezo, uchakataji wa baadae, na utekelezaji wa backend. Jukwaa jipya linaweza kuongezwa kama backend nyingine chini ya src/audio_studio_mcp/backends/.

Mazingatio ya leseni na matumizi

Msimbo wa Audio Studio MCP una leseni ya MIT. Runtime ya Stable Audio 3 hupakuliwa wakati wa usakinishaji, huku uzani wa modeli ukisambazwa chini ya Leseni ya Jumuiya ya Stability AI. Kagua leseni ya modeli kabla ya kutumia sauti iliyozalishwa kibiashara. README inasema kwamba, wakati wa kuandika, leseni inaruhusu matumizi ya kibiashara kwa watu binafsi na mashirika yenye mapato ya jumla ya kila mwaka yaliyo chini ya US$1 milioni.

Hitimisho

Audio Studio MCP hutoa mtiririko wa kazi wa ndani na wa vitendo wa kuunda sauti za michezo, mandhari za video, mazingira, na athari za sauti kupitia maombi ya lugha asilia. Sakinisha backend inayofaa kwa maunzi yako, sajili seva kwenye mteja wa MCP, zalisha watahiniwa kadhaa, na tumia zana za kuhariri na kuchakata ili kubadilisha matokeo bora kuwa kipengee safi cha WAV, OGG, au FLAC.

Kwa sampuli na maelezo ya hivi punde ya usakinishaji, tembelea hazina ya Audio Studio MCP na ukurasa wake wa sampuli.