Audio Studio MCP দিয়ে স্থানীয় AI মিউজিক ও সাউন্ড ইফেক্ট স্টুডিও তৈরি করুন

Audio Studio MCP একটি স্থানীয় Mac বা Windows কম্পিউটারকে Claude Code, Claude Desktop, Cursor এবং অন্যান্য Model Context Protocol ক্লায়েন্টের জন্য AI-চালিত সাউন্ড স্টুডিওতে পরিণত করে। আপনি সহজ ভাষায় প্রয়োজনীয় অডিও বর্ণনা করবেন, আর সার্ভারটি Stable Audio 3 স্থানীয়ভাবে ব্যবহার করে মিউজিক, ইন্সট্রুমেন্ট লুপ বা সাউন্ড ইফেক্ট তৈরি করবে।

প্রক্রিয়াকরণ আপনার নিজের কম্পিউটারেই হওয়ায়, এই প্রকল্পে কোনো ক্লাউড সার্ভিস বা API key প্রয়োজন হয় না। তৈরি করা ফাইলগুলো স্থানীয়ভাবে WAV ফাইল হিসেবে সংরক্ষিত হয়, প্রতিটি ফাইলের সঙ্গে একটি JSON sidecar থাকে যাতে ব্যবহৃত prompt, seed এবং সেটিংস সংরক্ষিত থাকে। এরপর আপনি ফলাফল সম্পাদনা, লুপ, normalize এবং game engine বা video editor-এর জন্য export করতে পারবেন।

Audio Studio MCP যা করে

এই প্রকল্পটি আপনার AI client এবং স্থানীয় Stable Audio 3 runtime-এর মধ্যে একটি MCP server প্রদান করে। “একটি cafe scene-এর জন্য 85 BPM-এ 60-second-এর lo-fi BGM loop তৈরি করো”-এর মতো অনুরোধ MCP-এর মাধ্যমে পাঠানো হয়, Stable Audio-সামঞ্জস্যপূর্ণ prompt-এ রূপান্তরিত হয় এবং একটি সমর্থিত স্থানীয় backend-এ প্রক্রিয়াকরণ করা হয়।

Apple Silicon-এ Audio Studio MCP MLX backend ব্যবহার করে। NVIDIA GPU-সহ Windows-এ এটি CUDA-সহ PyTorch backend ব্যবহার করে। output উচ্চমানের WAV ফাইল হিসেবে রাখা যায় অথবা OGG ও FLAC-এ প্রক্রিয়াকরণ করা যায়।

প্রধান সুবিধা

• টেক্সট থেকে মিউজিক, instrumental loop, stem এবং sound effect তৈরি করুন।
• একটি call-এ এক থেকে চারটি candidate চাইতে পারবেন।
• পুরো clip-এর style পরিবর্তন করুন, নির্বাচিত সময়সীমা পুনরায় তৈরি করুন অথবা বিদ্যমান track সম্প্রসারিত করুন।
• Crossfade ব্যবহার করে seamless loop তৈরি করুন।
• নীরবতা trim করুন, mono-তে convert করুন, resample করুন, fade প্রয়োগ করুন এবং loudness normalize করুন।
• Post-processing-এর মাধ্যমে অডিও 48 kHz WAV, OGG অথবা FLAC হিসেবে export করুন।
• প্রতিটি audio file-এর পাশে JSON sidecar-এ পুনরুৎপাদনের তথ্য সংরক্ষণ করুন।
• Idle period শেষ হলে স্বয়ংক্রিয়ভাবে model unload করুন অথবা memory ছাড়ার প্রয়োজন হলে manual unload করুন।

সিস্টেমের প্রয়োজনীয়তা

Apple Silicon-সহ macOS

• একটি Apple Silicon Mac, যেমন M1 বা পরবর্তী সংস্করণ।
• 16 GB RAM সুপারিশ করা হয়।
• Medium model-এর জন্য আনুমানিক 6 GB disk space।
• git এবং ffmpeg।

NVIDIA GPU-সহ Windows

• 64-bit Windows 10 অথবা Windows 11।
• কমপক্ষে 8 GB VRAM এবং বর্তমান driver-সহ একটি NVIDIA GPU।
• Model এবং PyTorch-এর জন্য আনুমানিক 14 GB disk space।
• git এবং ffmpeg।
• একটি বিনামূল্যের Hugging Face account।

Intel Mac এবং AMD GPU সমর্থিত নয়। NVIDIA GPU-সহ Linux-এ PyTorch backend কাজ করতে পারে, তবে repository-তে Linux support-কে untested বলা হয়েছে এবং এর জন্য কোনো installer দেওয়া হয়নি।

macOS-এ ইনস্টল করুন

প্রথমে ffmpeg আগে থেকে উপলভ্য না থাকলে ইনস্টল করুন:

brew install ffmpeg

Repository clone করে installer চালান:

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
./install.sh

Installer uv সেট আপ করতে পারে, পরীক্ষিত Stable Audio 3 runtime-টি vendor/-এ clone করতে পারে, virtual environment তৈরি করতে পারে এবং medium 1.4B model download করতে পারে। Model-টির আকার আনুমানিক 5.9 GB।

শেষে installer একটি registration command দেখাবে। আপনার checkout-এর প্রকৃত path ব্যবহার করে সমতুল্য command চালান:

claude mcp add --scope user audio-studio -- /path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp

Windows-এ ইনস্টল করুন

প্রয়োজনে Git এবং ffmpeg ইনস্টল করুন:

winget install Git.Git
winget install Gyan.FFmpeg

প্রকল্পটি ইনস্টল করার আগে Hugging Face-এ Stable Audio 3 medium model page খুলে এর license গ্রহণ করুন। PyTorch weights gated হওয়ায় installer চাইলে read permission-সহ একটি Hugging Face access token-ও দিতে হবে।

Repository clone করে PowerShell installer চালু করুন:

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
powershell -ExecutionPolicy Bypass -File install.ps1

Windows installer CUDA-সমর্থিত PyTorch dependencies ইনস্টল করে এবং official PyTorch checkpoint download করে। Medium model-এর আকার আনুমানিক 10.4 GB। Flash Attention প্রয়োজন নেই; এটি উপলভ্য না হলে runtime PyTorch-এর built-in attention ব্যবহার করে।

Installer দেখানো path ব্যবহার করে Claude Code-এর সঙ্গে server register করুন, অথবা এই উদাহরণটি মানিয়ে নিন:

claude mcp add --scope user audio-studio -- "C:\path\to\audio-studio-mcp\.venv\Scripts\audio-studio-mcp.exe"

অন্যান্য MCP client সংযুক্ত করুন

Claude Desktop, Cursor এবং সামঞ্জস্যপূর্ণ client-গুলো তাদের MCP configuration থেকে server চালু করতে পারে। প্রাসঙ্গিক configuration file-এ, যেমন claude_desktop_config.json বা .cursor/mcp.json-এ একটি audio-studio entry যোগ করুন:

{
  "mcpServers": {
    "audio-studio": {
      "command": "/path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp"
    }
  }
}

Windows-এ .venv\Scripts-এর ভেতরের executable ব্যবহার করুন। এটি JSON হওয়ায় backslash দ্বিগুণ করতে হবে:

{
  "mcpServers": {
    "audio-studio": {
      "command": "C:\\path\\to\\audio-studio-mcp\\.venv\\Scripts\\audio-studio-mcp.exe"
    }
  }
}

আপনার প্রথম অডিও ক্লিপ তৈরি করুন

সার্ভার নিবন্ধিত হয়ে গেলে, আপনার MCP client-এ স্বাভাবিক ভাষা ব্যবহার করুন। উদাহরণস্বরূপ:

• একটি ক্যাফে দৃশ্যের জন্য 85 BPM-এ 60 সেকেন্ডের lo-fi BGM loop তৈরি করুন এবং তিনটি candidate দিন।
• পাথরের hallway-এ ভারী কাঠের দরজা বন্ধ হওয়ার শব্দ তৈরি করুন এবং Godot-এর জন্য OGG হিসেবে export করুন।
• রাতে বাইরের জঙ্গলের জন্য সংক্ষিপ্ত বৃষ্টি ও বজ্রের ambience তৈরি করুন।

সার্ভারটি text-to-audio generation-এর জন্য generate_audio tool প্রকাশ করে। এটি music, instrument, sound-effect এবং raw audio type সমর্থন করে। Music-এর জন্য genre, mood, instruments, supporting layers, rhythm এবং tempo উল্লেখ করুন। Sound effect-এর জন্য source, action, material এবং space বর্ণনা করুন।

ডিফল্টভাবে generated file-গুলো repository-র outputs/ directory-তে লেখা হয়। Standard generated format হলো 44.1 kHz, 24-bit, stereo WAV। প্রতিটি file-এর সঙ্গে generation details-সহ একটি matching JSON sidecar থাকে।

একাধিক candidate অনুরোধ করুন

Seed অনুযায়ী ফলাফলে উল্লেখযোগ্য পার্থক্য হতে পারে। বিকল্প তুলনা করতে চাইলে দুই থেকে চারটি variation অনুরোধ করুন:

150 BPM-এ bright square-wave lead এবং energetic drums-সহ চারটি upbeat 8-bit adventure music candidate তৈরি করুন।

Server variation-গুলোর জন্য ধারাবাহিক seed নির্ধারণ করে। পুনরুৎপাদনযোগ্য output-এর জন্য নির্দিষ্ট seed দিতে পারেন, অথবা seed বাদ দিয়ে random seed-এর জন্য -1 ব্যবহার করতে পারেন।

তৈরি করা অডিও সম্পাদনা করুন

প্রাথমিক generation কাছাকাছি হলেও পরিবর্তন দরকার হলে edit_audio ব্যবহার করুন। Tool-টি তিনটি mode সমর্থন করে:

• Variation: সম্পূর্ণ clip-এর style পুনর্নির্ধারণ করে।
• Inpaint: নির্বাচিত time range পুনরায় তৈরি করে।
• Continue: বর্তমান duration-এর পরে track বাড়ায়।

উদাহরণস্বরূপ, client-কে 20 সেকেন্ডের track 40 সেকেন্ড পর্যন্ত বাড়াতে বলতে পারেন, অথবা পুরো file আবার তৈরি না করে সমস্যাযুক্ত section পুনরায় তৈরি করতে পারেন:

এই track-টি 90 সেকেন্ড পর্যন্ত বাড়ান, একই style ও energy বজায় রেখে।

Transition-টি যেন আরও smooth শোনায়, সে জন্য 8 থেকে 12 সেকেন্ডের section পুনরায় তৈরি করুন।

README-তে বলা হয়েছে যে নির্দিষ্ট timing instruction, যেমন ঠিক কোনো second-এ climax চাওয়া, model নির্ভরযোগ্যভাবে অনুসরণ করে না। আরও নির্ভরযোগ্য workflow হলো প্রথমে clip তৈরি করা, তারপর structural change-এর জন্য inpaint বা continue ব্যবহার করা।

অডিও process ও export করুন

process_audio tool non-destructive finishing operation প্রয়োগ করে। এটি কখনও original input পরিবর্তন করে না। Available operation-এর মধ্যে রয়েছে trimming, silence removal, mono-তে conversion, resampling, loudness normalization, seamless looping, fades, peak normalization এবং output conversion।

উদাহরণস্বরূপ:

• এই sound effect-টিকে mono করুন, silence trim করুন, একটি short fade প্রয়োগ করুন এবং OGG হিসেবে export করুন।
• এই music থেকে একটি seamless loop তৈরি করুন, longer crossfade ব্যবহার করুন এবং WAV হিসেবে export করুন।
• এই game background track-টিকে -16 LUFS-এ normalize করুন এবং OGG হিসেবে export করুন।

অনেক sound effect-এর জন্য peak normalization ব্যবহার করুন। Loudness normalization-এর ক্ষেত্রে project-টি streaming বা video-এর জন্য প্রায় -14 LUFS, game background music-এর জন্য -16 LUFS এবং broadcast-এর জন্য -23 LUFS সুপারিশ করে।

Default peak ceiling হলো -1 dB। এটি ceiling অতিক্রম করা peak কমায়, কিন্তু কম জোরের audio বাড়ায় না। Processed file-গুলো metadata-র source field-এ original generation information সংরক্ষণ করে।

Loop click এড়ানো

Seamless loop দরকার হলে WAV বা OGG ব্যবহার করুন। MP3 শুরু ও শেষে padding যোগ করতে পারে, ফলে exact looping বাধাগ্রস্ত হয়। Seam-এ এখনও click হলে loop crossfade duration বাড়ান অথবা model-কে bar line-এ শেষ হয় এমন একটি loop তৈরি করতে বলুন।

আপনার prompt উন্নত করুন

Stable Audio 3 এক বা দুটি বাক্যের সংক্ষিপ্ত English prompt-এ সবচেয়ে ভালো কাজ করে, যা সাধারণত প্রায় 45 শব্দের বেশি হওয়া উচিত নয়। vocals, singer বা lyrics-এর মতো vocal term এড়িয়ে চলুন, কারণ এই project-টি intelligible singing-এর পরিবর্তে instrumental music ও sound effect তৈরি করে।

Music prompt-এর কাঠামো

Music prompt-এর জন্য একটি কার্যকর ক্রম হলো genre ও adjectives, lead instruments, supporting layers, drums বা rhythm এবং mood। Tempo bpm parameter-এ দিন অথবা request-এ স্পষ্টভাবে উল্লেখ করুন।

Relaxed, dreamy vibe-এর জন্য mellow electric piano, soft vinyl crackle, low-pass filtered drums এবং soft plucked bass-সহ lo-fi hip-hop chill track।

Sound-effect prompt-এর কাঠামো

Sound effect বর্ণনা করতে চারটি attribute ব্যবহার করুন: কী sound তৈরি করে, এটি কীভাবে পরিবর্তিত হয়, এটি কী দিয়ে তৈরি এবং কোন space-এ ঘটে।

source: glass bottle / action: impact-এ ভেঙে যাওয়া, fragments ছড়িয়ে পড়া / material: thick green glass, sharp bright transient / space: concrete floor, close-up, dry

অনুরোধ করা সময়কালকে কনটেন্টের সঙ্গে সামঞ্জস্য করুন। ইমপ্যাক্টের জন্য সাধারণত এক থেকে তিন সেকেন্ড, অ্যাকশনের জন্য তিন থেকে ছয় সেকেন্ড, অ্যাম্বিয়েন্সের জন্য ছয় থেকে পনেরো সেকেন্ড বা তার বেশি এবং লুপের জন্য ছয় থেকে বিশ সেকেন্ড ভালো কাজ করে। সম্পূর্ণ ট্র্যাক আরও দীর্ঘ হতে পারে; medium মডেল সর্বোচ্চ 380 সেকেন্ড পর্যন্ত সমর্থন করে।

অফিশিয়াল ডিফল্ট সেটিং হলো steps=8 এবং cfg=1.0। আরও কঠোরভাবে প্রম্পট অনুসরণ করতে চাইলে বা নেগেটিভ প্রম্পট ব্যবহার করতে চাইলে 3 থেকে 7-এর মধ্যে CFG মান চেষ্টা করুন। মনে রাখবেন, এতে জেনারেশনে প্রায় দ্বিগুণ সময় লাগতে পারে।

একটি মডেল বেছে নিয়ে সার্ভার কনফিগার করুন

ডিফল্ট মডেল হলো medium, যা সর্বোচ্চ মান প্রদান করে এবং 380 সেকেন্ড পর্যন্ত সময়কাল সমর্থন করে। ছোট sm-music এবং sm-sfx মডেলগুলো দ্রুততর এবং সর্বোচ্চ 120 সেকেন্ড পর্যন্ত সময়কাল সমর্থন করে।

MCP রেজিস্ট্রেশন কমান্ড বা আপনার ক্লায়েন্টের এনভায়রনমেন্ট ব্লকের মাধ্যমে কনফিগারেশন মান সেট করুন। গুরুত্বপূর্ণ ভেরিয়েবলগুলোর মধ্যে রয়েছে:

• AUDIO_STUDIO_OUTPUT_DIR: আউটপুট ডিরেক্টরি পরিবর্তন করে। ডিফল্ট হলো <repo>/outputs।
• AUDIO_STUDIO_IDLE_UNLOAD_MIN: নির্দিষ্ট সংখ্যক নিষ্ক্রিয় মিনিট পর মডেলের মেমোরি মুক্ত করে। স্বয়ংক্রিয় আনলোডিং বন্ধ করতে এটি 0 সেট করুন।
• AUDIO_STUDIO_SA3_MODEL: medium, sm-music, অথবা sm-sfx নির্বাচন করে।
• AUDIO_STUDIO_MLX_CACHE_GB: macOS-এ MLX বাফার ক্যাশের সর্বোচ্চ সীমা নির্ধারণ করে।
• AUDIO_STUDIO_DEVICE: cuda, cuda:1, অথবা cpu-এর মতো একটি PyTorch ডিভাইস নির্বাচন করে।
• AUDIO_STUDIO_BACKEND: auto, sa3-mlx, অথবা sa3-torch নির্বাচন করে।
• AUDIO_STUDIO_FFMPEG: PATH-এ না থাকলে ffmpeg এক্সিকিউটেবলের অবস্থান নির্দিষ্ট করে।

একটি উষ্ণ সার্ভার প্রসেস শেয়ার করুন

সাধারণত প্রতিটি ক্লায়েন্ট সেশন নিজস্ব সার্ভার প্রসেস চালু করে। প্রথম অনুরোধের সময় মডেল লোড হয় এবং নিষ্ক্রিয়তার সময়সীমা শেষ হলে মুক্ত করা হয়। একাধিক সেশনের একটি উষ্ণ প্রসেস শেয়ার করার প্রয়োজন হলে Audio Studio MCP-কে স্থানীয় HTTP সার্ভার হিসেবে চালান:

.venv/bin/audio-studio-mcp --http 8765 --preload
claude mcp add --scope user --transport http audio-studio http://127.0.0.1:8765/mcp

Windows-এ ভার্চুয়াল এনভায়রনমেন্ট থেকে এক্সিকিউটেবলটি চালু করুন:

.venv\Scripts\audio-studio-mcp.exe --http 8765 --preload

HTTP সার্ভারটি কেবল 127.0.0.1-এ শোনে, ফলে এটি কম্পিউটারের মধ্যেই স্থানীয় থাকে।

মেমোরি ও পারফরম্যান্স পরিচালনা করুন

16 GB মেমোরির M1 Mac-এ medium মডেল লোড থাকা অবস্থায় আনুমানিক 5–7 GB ব্যবহার করে। RTX 3060-এ রিপোজিটরির পরিমাপ অনুযায়ী এটি সর্বোচ্চ প্রায় 5.3 GB VRAM ব্যবহার করেছে। মডেলের মেমোরি তাৎক্ষণিকভাবে মুক্ত করতে unload_models টুল ব্যবহার করুন, অথবা স্বয়ংক্রিয় পরিষ্কারের জন্য AUDIO_STUDIO_IDLE_UNLOAD_MIN কনফিগার করুন।

ছোট মডেলগুলো ছোট ক্লিপের জেনারেশন সময় উল্লেখযোগ্যভাবে কমাতে পারে। রিপোজিটরি অনুযায়ী, sm-music দিয়ে একটি উষ্ণ 15-সেকেন্ডের জেনারেশন M1 Mac-এ প্রায় এক সেকেন্ড এবং RTX 3060-এ প্রায় 0.7 সেকেন্ড সময় নেয়। প্রকৃত পারফরম্যান্স হার্ডওয়্যার, মডেল, সময়কাল এবং মডেলটি আগে থেকেই লোড করা আছে কি না তার ওপর নির্ভর করে।

টেস্ট ও ডেভেলপমেন্ট যাচাই চালান

রিপোজিটরিতে এমন অফলাইন টেস্ট রয়েছে, যেগুলোর জন্য মডেল ওজনের প্রয়োজন হয় না:

uv run pytest

বাস্তব মডেল ব্যবহার করে এন্ড-টু-এন্ড টেস্টের জন্য স্মোক টেস্ট চালান। macOS-এ:

.venv/bin/python scripts/smoke_test.py

Windows-এ:

.venv\Scripts\python scripts/smoke_test.py

সোর্স কোডটি MCP সার্ভার, প্রম্পট নির্মাণ, পোস্ট-প্রসেসিং এবং ব্যাকএন্ড ইমপ্লিমেন্টেশনের ওপর ভিত্তি করে সাজানো। src/audio_studio_mcp/backends/-এর অধীনে আরেকটি ব্যাকএন্ড যোগ করে নতুন প্ল্যাটফর্ম যুক্ত করা যায়।

লাইসেন্স ও ব্যবহারের বিষয়গুলো

Audio Studio MCP কোড MIT লাইসেন্সের অধীনে প্রকাশিত। ইনস্টলেশনের সময় Stable Audio 3 রানটাইম ডাউনলোড হয়, আর মডেল ওজন Stability AI Community License-এর অধীনে বিতরণ করা হয়। জেনারেট করা অডিও বাণিজ্যিকভাবে ব্যবহারের আগে মডেলের লাইসেন্স পর্যালোচনা করুন। README-তে বলা হয়েছে, লেখার সময় লাইসেন্সটি মোট বার্ষিক আয় US$1 মিলিয়নের কম এমন ব্যক্তি ও প্রতিষ্ঠানের জন্য বাণিজ্যিক ব্যবহারের অনুমতি দেয়।

উপসংহার

Audio Studio MCP স্বাভাবিক ভাষায় করা অনুরোধের মাধ্যমে গেম অডিও, ভিডিও ব্যাকগ্রাউন্ড, অ্যাম্বিয়েন্স এবং সাউন্ড ইফেক্ট তৈরির জন্য একটি ব্যবহারিক স্থানীয় ওয়ার্কফ্লো প্রদান করে। আপনার হার্ডওয়্যারের জন্য উপযুক্ত ব্যাকএন্ড ইনস্টল করুন, একটি MCP ক্লায়েন্টের সঙ্গে সার্ভার রেজিস্টার করুন, একাধিক প্রার্থী তৈরি করুন এবং সেরা ফলাফলকে একটি পরিষ্কার WAV, OGG বা FLAC অ্যাসেটে রূপান্তর করতে এডিটিং ও প্রসেসিং টুল ব্যবহার করুন।

নমুনা ও সর্বশেষ ইনস্টলেশন নির্দেশনার জন্য Audio Studio MCP রিপোজিটরি এবং এর নমুনা পৃষ্ঠা দেখুন।