Earshot کے ذریعے کوڈنگ ایجنٹس کو آڈیو تجزیہ اور صوتی ترکیب کیسے دیں

Earshot کیا کرتا ہے

Earshot مقامی آڈیو تجزیے اور صوتی ترکیب کا ایک ٹول کِٹ ہے جو AI کوڈنگ ایجنٹس کے لیے بنایا گیا ہے۔ یہ آواز کو منظم شواہد میں تبدیل کرتا ہے: سادہ زبان میں وضاحتیں، کیلیبریٹ کیے گئے مماثلتی اسکور، وقت کے ساتھ واقعات، معروضی پیمائشیں، بصری صوتی شیٹس، اور لانچ فلم پر تنقیدی جائزے۔

یہ ایسے سوالات کے جواب دے سکتا ہے کہ آیا کوئی اثر گہری میکینیکل کی پریس جیسا محسوس ہوتا ہے، کسی طویل ریکارڈنگ میں مخصوص واقعہ کہاں ہوتا ہے، دو امیدوار آوازوں میں کیا فرق ہے، یا ساؤنڈ ٹریک تصویر کے کٹس کے ساتھ ہم آہنگ ہے یا نہیں۔ یہ earshot forge کے ذریعے کوڈ سے صوتی اثرات بھی تخلیق کر سکتا ہے۔

Earshot مقامی طور پر CPU پر چلتا ہے اور کمانڈ لائن انٹرفیس، Python API، اور Claude Code جیسے ٹولز کے لیے MCP سرور کے ذریعے دستیاب ہے۔ ابتدائی ماڈل ڈاؤن لوڈ کے بعد، اس کی معیاری تجزیاتی خصوصیات آف لائن کام کر سکتی ہیں۔

اہم صلاحیتیں

• آوازوں کی وضاحت: describe کیلیبریٹ کیے گئے ٹیگز، متبادل تشریحات، AudioSet لیبلز، اور پیمائشیں واپس کرتا ہے۔
• امیدواروں کا مماثلہ اور درجہ بندی: match جانچتا ہے کہ ایک فائل کسی وضاحت سے کتنی مطابقت رکھتی ہے، جبکہ rank کسی سوال کے مقابل متعدد فائلوں کو ترتیب دیتا ہے۔
• واقعات تلاش کرنا: find طویل ریکارڈنگ میں بہترین مماثل لمحات کی نشان دہی کرتا ہے اور ٹرِم کے لیے تیار آغاز اور اختتام کے اوقات بتاتا ہے۔
• آڈیو کا موازنہ: compare حوالہ ریکارڈنگز تلاش کرتا ہے، جبکہ ab دو آوازوں یا ٹرِمز کے درمیان فرق بیان کرتا ہے۔
• حقیقت پسندی کا جائزہ: realness اندازہ لگاتا ہے کہ آڈیو کسی حقیقی یا پیشہ ورانہ طور پر تیار کردہ ریکارڈنگ سے مشابہ ہے یا کوڈ سے ترکیب دی گئی آواز سے۔
• ساؤنڈ ٹریکس کا تجزیہ: timeline واقعات، حصوں، لیولز، بیٹس، اور ویڈیو کٹس یا کیو فریمز کے ساتھ ہم وقت سازی کی نشان دہی کرتا ہے۔
• بصری رپورٹس بنانا: sheet ایک تشریح شدہ PNG تیار کرتا ہے جس میں ویڈیو فریمز، واقعات، حصے، ویوفارم، اسپیکٹروگرام، بلندیِ صوت، اور ہم وقت سازی کے مارکر شامل ہوتے ہیں۔
• لانچ فلموں پر تنقیدی جائزہ: critique کسی فلم کا سات پیشہ ورانہ لانچ فلموں سے بنائے گئے پروفائل کے ساتھ موازنہ کرتا ہے اور وقت کے نشان کے ساتھ اصلاحات تجویز کرتا ہے۔
• معروضی پیمائش: measure ماڈلز استعمال کیے بغیر LUFS، ٹرو پیک، بلندیِ صوت کی حد، اینویلوپ، اسپیکٹرم، رفتار، اور کی جیسی خصوصیات کی رپورٹ دیتا ہے۔
• اثرات کی ترکیب: forge کوڈ سے آوازیں رینڈر کرتا ہے اور Earshot کے ناقدین اور ماڈل سے آزاد پیمائشوں کے ذریعے ریسیپی پیرامیٹرز تلاش کرتا ہے۔

Earshot انسٹال کریں

ضروریات

آپ کو Python 3.10 یا اس کے بعد کا ورژن، اور اپنے سسٹم پاتھ پر ffmpeg اور ffprobe دونوں دستیاب ہونے چاہییں۔ Earshot صرف CPU پر چلتا ہے اور GPU استعمال نہیں کرتا۔

ماحول بنائیں

git clone https://github.com/Leonxlnx/earshot
cd earshot
python -m venv .venv
.venv/bin/python -m pip install torch --index-url https://download.pytorch.org/whl/cpu
.venv/bin/python -m pip install -e ".[mcp,llm,dev]"
.venv/bin/python -m earshot doctor --load

Windows پر .venv/bin/python کی جگہ .venv/Scripts/python استعمال کریں۔

ماڈل پر مبنی پہلا آپریشن تقریباً 1.4 GB ڈیٹا ریپوزٹری کے اندر موجود .cache/hf میں ڈاؤن لوڈ کرتا ہے، الا یہ کہ آپ EARSHOT_HOME کو ترتیب دیں۔ Earshot متن سے آڈیو ایمبیڈنگز کے لیے CLAP ماڈل laion/larger_clap_general اور AudioSet ٹیگنگ کے لیے MIT/ast-finetuned-audioset-10-10-0.4593 استعمال کرتا ہے۔

جب بھی آپ کو انحصارات، ڈیٹا فائلز، ماڈلز، پریسیژن، یا CPU سیٹنگز کی تصدیق کرنی ہو، تشخیصی کمانڈ چلائیں:

.venv/bin/python -m earshot doctor --load

CPU اور کیش سیٹنگز ترتیب دیں

• EARSHOT_THREADS Torch CPU تھریڈز کی تعداد کنٹرول کرتا ہے۔
• EARSHOT_HOME کیش روٹ تبدیل کرتا ہے۔
• EARSHOT_PRECISION=fp32 FP32 کو لازمی بناتا ہے۔ پہلے سے طے شدہ طور پر مقامی سپورٹ والے CPUs پر BF16 اور دیگر جگہوں پر FP32 استعمال ہوتا ہے۔
• EARSHOT_OFFLINE=1 ماڈلز ڈاؤن لوڈ ہو جانے کے بعد آف لائن آپریشن فعال کرتا ہے۔

کمانڈ لائن کا بنیادی استعمال

آواز کی وضاحت کریں

جب آپ کسی نامانوس فائل کی مختصر وضاحت چاہتے ہوں تو describe سے آغاز کریں:

earshot describe enter.ogg

خلاصے میں دورانیہ، ٹرانزیئنٹ کی شکل، ممکنہ صوتی زمرے، کیلیبریٹ کیے گئے z-scores، پیک لیول، چمک، اور متبادل تشریحات شامل ہو سکتی ہیں۔ مکمل منظم نتیجے کے لیے --json شامل کریں، یا اسے محفوظ کرنے کے لیے --out result.json استعمال کریں۔

مخصوص وضاحت کی جانچ کریں

جب آپ کو مطلوبہ آواز پہلے سے معلوم ہو تو match استعمال کریں۔ متبادل وضاحتیں ہدف کو ممکنہ مشابہ آوازوں سے الگ کرنے میں مدد دیتی ہیں:

earshot match key.ogg "a deep thocky mechanical keyboard press" --alts "a clicky blue switch keyboard" "a mouse click"

نتیجے میں کوزائن مماثلت، الفاظ کے ذخیرے کے مطابق کیلیبریٹ کیا گیا z-score، اور strong، plausible، weak، یا no match جیسا فیصلہ شامل ہوتا ہے۔

متعدد امیدوار فائلوں کی درجہ بندی کریں

کسی مجموعے میں سے بہترین امیدوار منتخب کرنے کے لیے، وضاحت کے بعد فائلوں کے راستے دیں:

earshot rank "a fast crisp air whoosh" sounds/one.wav sounds/two.wav sounds/three.wav

یہ اس وقت مفید ہے جب کسی ایجنٹ نے متعدد ممکنہ اثرات ڈاؤن لوڈ یا رینڈر کیے ہوں اور اسے شواہد پر مبنی ترتیب درکار ہو۔

طویل ریکارڈنگ میں واقعہ تلاش کریں

find کمانڈ ریکارڈنگ کے اندر تلاش کرتی ہے اور نمونہ ٹرِم کے اوقات واپس کرتی ہے:

earshot find keys.ogg "a single mechanical key press" --top 4

ہر نتیجے میں آغاز کا وقت، اختتام کا وقت، دورانیہ، اسکور اور فیصلہ شامل ہوتا ہے۔ اس کے بعد ان ٹائم اسٹیمپس کو بڑے ماخذ سے ایک صاف ایونٹ اخذ کرنے کے لیے استعمال کیا جا سکتا ہے۔

ماڈل کی تشریح کے بغیر پیمائش کریں

جب آپ کو معنوی فیصلوں کے بجائے قابلِ تکرار آڈیو خصوصیات درکار ہوں تو measure استعمال کریں:

earshot measure soundtrack.wav --json

یہ معروضی معلومات فراہم کرتا ہے، جن میں لاؤڈنس، ٹرو پیک، لاؤڈنس رینج، اینویلپ، اسپیکٹرم، ٹیمپو اور کی شامل ہیں۔

فلم کے ساؤنڈ ٹریک کا تجزیہ کریں

سننے کی ٹائم لائن بنائیں

ہر سیکنڈ کی سماعتی نقل تیار کرنے کے لیے timeline استعمال کریں۔ ویڈیو فراہم کرنے سے Earshot تصویر کے کٹس اور کیو فریمز کے ساتھ ہم زمانی کا جائزہ لے سکتا ہے:

earshot timeline soundtrack.wav --video film.mp4 --json

نتیجے میں دریافت شدہ ایونٹس، حصے، لیولز، لاؤڈنس، بیٹ گرڈ اور صوتی و بصری ہم زمانی کے شواہد شامل ہو سکتے ہیں۔

تشریح شدہ ساؤنڈ شیٹ بنائیں

ساؤنڈ شیٹ تجزیے کی اہم تہوں کو ایک ایسی تصویر میں رکھتی ہے جس کا بصری ایجنٹ معائنہ کر سکتا ہے:

earshot sheet soundtrack.wav --video film.mp4 -o out.png

تیار کردہ PNG میں نمائندہ فریمز، لیبل شدہ ایونٹس، حصے، ویو فارم، اسپیکٹروگرام، لاؤڈنس، بیٹس اور ہم زمانی کے مارکرز شامل کیے جا سکتے ہیں۔

لانچ فلم پر تنقیدی رپورٹ بنائیں

کسی فلم کا Earshot میں شامل سات پیشہ ور لانچ فلموں کے پروفائل سے موازنہ کرنے کے لیے critique چلائیں:

earshot critique film.mp4

رپورٹ فیصلہ فراہم کرتی ہے، ان میٹرکس کی نشان دہی کرتی ہے جو پروفائل کی حد کے اندر یا باہر ہیں، اور ٹائم اسٹیمپ والی اصلاحات کو ترجیح دیتی ہے۔ اسے معیار کا عالمی پیمانہ سمجھنے کے بجائے ایک مخصوص لانچ فلمی انداز سے موازنہ سمجھیں۔

آپ اپنی پسند کی فلموں سے بھی پروفائل بنا سکتے ہیں:

earshot profile reference-one.mp4 reference-two.mp4 reference-three.mp4 -o custom-profile.json

Python سے Earshot چلائیں

Python انٹرفیس ہر آپریشن کے لیے نیا پراسیس شروع کرنے سے بچاتا ہے۔ یہ اس لیے مفید ہے کہ انفرادی CLI کالز ماڈلز لوڈ کرتی ہیں اور واپس آنے میں تقریباً 20 سے 40 سیکنڈ لگ سکتے ہیں۔

import earshot

earshot.describe("whoosh.wav")
earshot.find("typing.ogg", "a single isolated key press")
earshot.timeline("soundtrack.wav", video="film.mp4")

from earshot import api
api.rank("a crisp UI click", ["click-a.wav", "click-b.wav"])
api.critique("film.mp4")

earshot.api نیم اسپیس میں رینکنگ، تنقیدی جائزے اور متعدد فائلوں کی حقیقت پسندی کے تجزیے سمیت کئی آپریشنز دستیاب ہیں۔ ان کالز کو ایک ہی Python پراسیس میں رکھنے سے لوڈ شدہ ماڈلز دوبارہ استعمال کیے جا سکتے ہیں۔

Earshot کو MCP سرور کے طور پر چلائیں

بار بار درخواستیں کرنے والے ایجنٹ کے لیے MCP سرور الگ الگ CLI کالز سے بہتر ہے، کیونکہ پہلی درخواست کے بعد ماڈلز گرم حالت میں برقرار رہتے ہیں۔

claude mcp add earshot --scope user -e EARSHOT_THREADS=3 -- /path/to/earshot/.venv/bin/python -m earshot mcp

کسی دوسرے MCP سے ہم آہنگ کلائنٹ کے لیے اس کی .mcp.json میں مساوی ترتیبات شامل کریں:

{"mcpServers":{"earshot":{"command":"/path/to/earshot/.venv/bin/python","args":["-m","earshot","mcp"],"env":{"EARSHOT_THREADS":"3"}}}}

سست مشین پر Claude Code کو MCP_TIMEOUT=60000 کے ساتھ شروع کریں۔ اختیاری llm_critique ٹول ماحول سے GEMINI_API_KEY پڑھتا ہے۔ کنفیگریشن فائل میں API کلید براہِ راست شامل نہ کریں۔

Earshot Forge سے آوازیں بنائیں

Forge ریکارڈ شدہ آڈیو شامل کیے بغیر آوازیں بناتا ہے۔ اس کی ترکیبوں میں طبیعی ترکیبی اجزا استعمال ہوتے ہیں، جیسے موڈل ریزونیٹرز، کانٹیکٹ ایکسائٹیشنز، فلٹر شدہ شور، کمپیوٹ کردہ کمرہ اور مائیکروفون ماڈل۔

پہلے شامل شدہ ترکیبوں کی فہرست دیکھیں:

earshot forge

ریپوزٹری میں کلکس، امپیکٹس، کی پریسز، پاپس اور ووشز کی ترکیبیں شامل ہیں۔ حقیقی ریکارڈنگز کو حوالوں کے طور پر استعمال کرتے ہوئے کی پریس کی آواز تلاش کرنے کے لیے چلائیں:

earshot forge keypress --refs path/to/real/keypresses/ --budget 144 --reps 2 --tone 1.5 --keep 4 --robust 8 --dir made/keypress

ممکنہ الجھنوں کے نام بتاتے ہوئے کسی مخصوص تفصیل کو ہدف بنانے کے لیے:

earshot forge whoosh --target "a fast crisp air whoosh" --alts "a wind gust" "a sword swing" --refs path/to/real/whooshes/ --tone 1.5 --dir made/whoosh

Forge پیرامیٹرائزڈ امیدوار تیار کرتا ہے، انہیں ایک نقاد کے ذریعے اسکور دیتا ہے، مضبوط نتائج برقرار رکھتا ہے اور ارتقائی تلاش کے ذریعے ان میں تبدیلیاں کرتا ہے۔ اس کی اسکورنگ میں تفصیل سے مطابقت، نامزد متبادل، اندازہ شدہ حقیقت پسندی، حوالوں سے قربت، ناپی گئی شکل، ٹونل توازن، اختتامی رویہ اور طوالت شامل ہیں۔

آؤٹ پٹ میں متنوع WAV فائلیں اور ایک report.json شامل ہوتا ہے جس میں امیدواروں کے پیرامیٹرز اور اسکورز درج ہوتے ہیں۔ --robust N کے ساتھ منتخب امیدواروں کو نئے بے ترتیب سیڈز کے ساتھ دوبارہ تیار کیا جاتا ہے، تاکہ آپ جانچ سکیں کہ ترکیب قابلِ اعتماد رہتی ہے یا صرف ایک بار کامیاب ہوئی تھی۔

Forge کے نتائج کا احتیاط سے جائزہ لیں

Forge، Earshot کے اپنے ماڈلز کے مطابق اصلاح کرتا ہے، اس لیے ماڈل کا بلند اسکور اس بات کی ضمانت نہیں دیتا کہ آواز ادراکی طور پر بہتر ہے۔

تیار کردہ آواز کے ایک تہائی آکٹیو کے توازن، اختتام اور طوالت کا حوالہ ریکارڈنگز سے موازنہ کریں۔ اس کے اسپیکٹروگرام کا حوالوں کے ساتھ معائنہ کریں، مضبوطی کے لیے دوبارہ تیار کردہ آوازیں آزمائیں، اور جب معیار اہم ہو تو انسانی بلائنڈ ٹیسٹ کریں۔ README خاص طور پر خبردار کرتا ہے کہ حقیقت پسندی کے ماڈل کو موڈل ریزونیٹر، کمرے کے ردِعمل اور شور کی سطح کو ملانے جیسی تکنیکوں سے دھوکا دیا جا سکتا ہے۔

جدید ورک فلو کے نکات

1. کام کے بوجھ کے لیے درست انٹرفیس استعمال کریں۔ چند تحقیقات کے لیے CLI آسان ہے۔ بار بار تجزیے کے لیے ایک Python پروسیس یا MCP سرور استعمال کریں تاکہ ماڈلز لوڈ رہیں۔
2. وسیع دائرے سے شروع کریں، پھر مفروضوں کی جانچ کریں۔ describe چلائیں، ہدف کی وضاحت تیار کریں، پھر واضح متبادلات کے ساتھ match استعمال کریں۔
3. معنوی اور معروضی شواہد الگ رکھیں۔ ماڈل پر مبنی فیصلوں کو measure، ٹونل بیلنس کی جانچ، ویوفارم کے معائنے اور اسپیکٹروگرامز کے ساتھ یکجا کریں۔
4. منظم آؤٹ پٹ محفوظ کریں۔ جب کسی دوسرے پروگرام یا ایجنٹ کو سادہ زبان کے خلاصے کے بجائے تمام فیلڈز کا معائنہ کرنا ہو تو --json یا --out استعمال کریں۔
5. حقیقی حوالہ جاتی ریکارڈنگز استعمال کریں۔ حوالہ جاتی ڈائریکٹریز موازنے اور Forge کی جانچ کو بہتر بناتی ہیں، لیکن ان ریکارڈنگز کے ماخذ اور لائسنس کی ذمہ داری آپ کی ہے۔
6. شامل کردہ ایجنٹ اسکلز انسٹال کریں۔ skills/earshot اور skills/real-sound کو ~/.claude/skills/ یا کسی پروجیکٹ کی .claude/skills/ میں کاپی یا سائم لنک کریں۔ ان میں کمانڈ کے انتخاب، نتائج کی تشریح، ساؤنڈ ٹریک کی تیاری، مکسنگ، QA اور لائسنسنگ کی جانچ درج ہے۔

حدود کو سمجھیں

Earshot لاؤڈنس، ٹائمنگ، تصویر کے ساتھ ہم وقتی، نمایاں واحد آوازوں کے موازنے، امیدواروں کی درجہ بندی اور واضح طور پر کوڈ سے تیار کردہ ذرائع کی شناخت میں سب سے مضبوط ہے۔ مصروف مکسز سے اخذ کیے گئے ٹیگز، نیز موسیقی کی صنف اور مزاج سے متعلق فیصلوں کو اشاروں کے طور پر سمجھنا چاہیے۔

یہ ذوق، جذبات، ماخذ، لائسنس یا تقریر کے مواد کا تعین نہیں کر سکتا۔ اس کے ماڈلز 14 kHz سے زیادہ فریکوئنسیوں کا جائزہ نہیں لیتے۔ حقیقی ہونے کا فیصلہ ثبوت ہے، قطعی دلیل نہیں، اور بلٹ اِن لانچ پروفائل صرف ان سات فلموں کی نمائندگی کرتا ہے جنہیں استعمال کر کے اسے بنایا گیا ہے۔

پروڈکشن ورک فلو میں اسکورز پر انحصار کرنے سے پہلے نتائج کی پیمائش کے لیے ریپوزٹری کی تصدیقی دستاویزات اور اس کی حدود کی دستاویزات ملاحظہ کریں۔

نتیجہ

Earshot کوڈنگ ایجنٹس کو مقامی CPU ٹولز کے ذریعے آواز کا معائنہ اور تخلیق کرنے کا عملی طریقہ فراہم کرتا ہے۔ describe، match اور find سے شروع کریں؛ مکمل فلموں کے لیے timeline، sheet اور critique کی طرف جائیں؛ اور جب مکمل طور پر کوڈ میں بنائے گئے پیرامیٹرائزڈ ایفیکٹس درکار ہوں تو Forge استعمال کریں۔ قابلِ اعتماد فیصلوں کے لیے ماڈل کے نتائج کو پیمائشوں، حوالہ جاتی موازنے، بصری معائنے اور انسانی سماعت کے ساتھ یکجا کریں۔