Kod yozuvchi agentlarga Earshot yordamida audio tahlili va tovush sintezini berish

Earshot nima qiladi

Earshot AI dasturlash agentlari uchun mo‘ljallangan, lokal audio tahlili va tovush sintezi vositalari to‘plamidir. U tovushni tuzilgan dalillarga aylantiradi: oddiy tildagi tavsiflar, kalibrlangan moslik ballari, vaqt bo‘yicha belgilangan hodisalar, obyektiv o‘lchovlar, vizual tovush varaqalari va ishga tushirish filmlari tahlillari.

U effekt chuqur mexanik klavisha bosilishiga o‘xshash-o‘xshamasligini, uzun yozuvda muayyan hodisa qayerda sodir bo‘lishini, ikki nomzod tovush qanday farq qilishini yoki saundtrek kadr kesimlariga mos kelish-kelmasligini aniqlay oladi. Shuningdek, earshot forge orqali kod yordamida effektlar sintez qilishi mumkin.

Earshot lokal CPU’da ishlaydi va buyruqlar qatori interfeysi, Python API’si hamda Claude Code kabi vositalar uchun MCP server orqali taqdim etiladi. Dastlabki model yuklab olingach, standart tahlil funksiyalari oflayn ishlashi mumkin.

Asosiy imkoniyatlar

• Tovushlarni tavsiflash: describe kalibrlangan teglar, muqobil talqinlar, AudioSet yorliqlari va o‘lchovlarni qaytaradi.
• Nomzodlarni moslashtirish va tartiblash: match bitta fayl tavsifga qanchalik mos kelishini baholaydi, rank esa bir nechta faylni so‘rovga mosligi bo‘yicha saralaydi.
• Hodisalarni topish: find uzunroq yozuvdagi eng mos lahzalarni aniqlaydi va kesishga tayyor boshlanish hamda tugash vaqtlarini ko‘rsatadi.
• Audioni taqqoslash: compare ma’lumot yozuvlarini qidiradi, ab esa ikki tovush yoki kesim o‘rtasidagi farqlarni tushuntiradi.
• Tabiiylikni baholash: realness audio kod orqali sintez qilingan tovushdan ko‘ra haqiqiy yoki professional ishlab chiqarilgan yozuvga o‘xshash-o‘xshamasligini taxmin qiladi.
• Saundtreklarni tahlil qilish: timeline hodisalar, bo‘limlar, darajalar, ritmlar va video kesimlari yoki signal kadrlar bilan sinxronlashuvni aniqlaydi.
• Vizual hisobotlar yaratish: sheet video kadrlar, hodisalar, bo‘limlar, to‘lqin shakli, spektrogramma, balandlik va sinxronlashuv belgilarini o‘z ichiga olgan izohli PNG yaratadi.
• Ishga tushirish filmlarini tahlil qilish: critique filmni yettita professional ishga tushirish filmidan tuzilgan profil bilan taqqoslaydi va vaqt belgisi qo‘yilgan tuzatishlarni taklif qiladi.
• Obyektiv o‘lchash: measure modellardan foydalanmasdan LUFS, haqiqiy cho‘qqi, balandlik diapazoni, konvert, spektr, temp va tonallik kabi xususiyatlarni qaytaradi.
• Effektlarni sintez qilish: forge tovushlarni koddan hosil qiladi va Earshot tanqidchilari hamda modelsiz o‘lchovlar yordamida retsept parametrlarini qidiradi.

Earshot’ni o‘rnatish

Talablar

Sizga Python 3.10 yoki undan yangiroq versiyasi, shuningdek tizim yo‘lida mavjud ffmpeg va ffprobe kerak. Earshot faqat CPU’da ishlaydi va GPU’dan foydalanmaydi.

Muhitni yaratish

git clone https://github.com/Leonxlnx/earshot
cd earshot
python -m venv .venv
.venv/bin/python -m pip install torch --index-url https://download.pytorch.org/whl/cpu
.venv/bin/python -m pip install -e ".[mcp,llm,dev]"
.venv/bin/python -m earshot doctor --load

Windows’da .venv/bin/python o‘rniga .venv/Scripts/python dan foydalaning.

Modeldan foydalanadigan birinchi amal taxminan 1.4 GB hajmdagi ma’lumotni EARSHOT_HOME sozlanmagan bo‘lsa, repozitoriy ichidagi .cache/hf katalogiga yuklaydi. Earshot matn-audio embeddinglari uchun laion/larger_clap_general CLAP modelidan, AudioSet teglari uchun esa MIT/ast-finetuned-audioset-10-10-0.4593 modelidan foydalanadi.

Bog‘liqliklar, ma’lumot fayllari, modellar, aniqlik yoki CPU sozlamalarini tekshirish kerak bo‘lganda diagnostika buyrug‘ini ishga tushiring:

.venv/bin/python -m earshot doctor --load

CPU va kesh sozlamalarini sozlash

• EARSHOT_THREADS Torch CPU oqimlari sonini boshqaradi.
• EARSHOT_HOME kesh ildizini o‘zgartiradi.
• EARSHOT_PRECISION=fp32 FP32 rejimini majburan yoqadi. Standart holatda BF16 faqat mahalliy qo‘llab-quvvatlashga ega CPU’larda, boshqa joylarda esa FP32 ishlatiladi.
• EARSHOT_OFFLINE=1 modellar yuklab olingandan keyin oflayn ishlashni yoqadi.

Buyruqlar qatoridan asosiy foydalanish

Tovushni tavsiflash

Noma’lum fayl haqida qisqa tushuntirish kerak bo‘lsa, describe buyrug‘idan boshlang:

earshot describe enter.ogg

Xulosa davomiylik, tranzient shakli, ehtimoliy tovush toifalari, kalibrlangan z-ballari, cho‘qqi darajasi, yorqinlik va muqobil talqinlarni o‘z ichiga olishi mumkin. To‘liq tuzilgan natija uchun --json parametrini, uni saqlash uchun esa --out result.json parametrini qo‘shing.

Muayyan tavsifni sinash

Qanday tovush kerakligini allaqachon bilsangiz, match buyrug‘idan foydalaning. Muqobil tavsiflar maqsadli tovushni ehtimoliy chalkashliklardan ajratishga yordam beradi:

earshot match key.ogg "a deep thocky mechanical keyboard press" --alts "a clicky blue switch keyboard" "a mouse click"

Natija kosinus o‘xshashligi, lug‘at asosida kalibrlangan z-ball va strong, plausible, weak yoki no match kabi xulosani o‘z ichiga oladi.

Bir nechta nomzod faylni tartiblash

To‘plam ichidan eng yaxshi nomzodni tanlash uchun tavsifdan keyin fayl yo‘llarini ko‘rsating:

earshot rank "a fast crisp air whoosh" sounds/one.wav sounds/two.wav sounds/three.wav

Bu agent bir nechta ehtimoliy effektlarni yuklab olgan yoki yaratganida va dalillarga asoslangan tartib kerak bo‘lganda foydalidir.

Uzun yozuv ichidan hodisani topish

find buyrug‘i yozuv ichidan qidiradi va namunani kesish vaqtlarini qaytaradi:

earshot find keys.ogg "a single mechanical key press" --top 4

Har bir natija boshlanish vaqti, tugash vaqti, davomiylik, ball va xulosani o‘z ichiga oladi. Keyin bu vaqt belgilaridan kattaroq manbadan toza hodisani ajratib olish uchun foydalanish mumkin.

Model talqinisiz o‘lchash

Semantik baholashlar o‘rniga takror ishlab bo‘ladigan audio xususiyatlari kerak bo‘lganda measure buyrug‘idan foydalaning:

earshot measure soundtrack.wav --json

Bu balandlik, haqiqiy cho‘qqi, balandlik diapazoni, amplituda qobig‘i, spektr, temp va tonallik kabi obyektiv ma’lumotlarni chiqaradi.

Film saundtrekini tahlil qilish

Tinglash vaqt jadvalini tuzish

Soniyasiga bo‘lingan tinglash transkriptini yaratish uchun timeline buyrug‘idan foydalaning. Video taqdim etilsa, Earshot tasvirdagi montaj kesimlari va kadr-belgilar bilan sinxronlashuvni baholashi mumkin:

earshot timeline soundtrack.wav --video film.mp4 --json

Natija aniqlangan hodisalar, bo‘limlar, darajalar, balandlik, ritm setkasi va audiovizual sinxronlashuv dalillarini o‘z ichiga olishi mumkin.

Izohli ovoz varag‘ini yaratish

Ovoz varag‘i asosiy tahlil qatlamlarini vizual agent tekshirishi mumkin bo‘lgan bitta tasvirga joylashtiradi:

earshot sheet soundtrack.wav --video film.mp4 -o out.png

Yaratilgan PNG tasviriga namunaviy kadrlar, belgilangan hodisalar, bo‘limlar, to‘lqin shakli, spektrogramma, balandlik, ritmlar va sinxronlashuv belgilari birlashtirilishi mumkin.

Launch-film tanqidini yaratish

Filmni Earshot tarkibidagi yettita professional launch-film profiliga solishtirish uchun critique buyrug‘ini ishga tushiring:

earshot critique film.mp4

Hisobot xulosa beradi, profil diapazoniga kiradigan yoki undan tashqarida qoladigan metrikalarni aniqlaydi va vaqt belgilariga ega tuzatishlarni ustuvorlashtiradi. Buni sifatning universal o‘lchovi emas, balki muayyan launch-film uslubi bilan taqqoslash sifatida qabul qiling.

O‘zingizga yoqadigan filmlardan profil ham tuzishingiz mumkin:

earshot profile reference-one.mp4 reference-two.mp4 reference-three.mp4 -o custom-profile.json

Earshot’dan Python orqali foydalanish

Python interfeysi har bir amal uchun yangi jarayon ishga tushirish zaruratini yo‘q qiladi. Bu foydali, chunki alohida CLI chaqiruvlari modellarni yuklaydi va qaytishidan oldin taxminan 20–40 soniya vaqt olishi mumkin.

import earshot

earshot.describe("whoosh.wav")
earshot.find("typing.ogg", "a single isolated key press")
earshot.timeline("soundtrack.wav", video="film.mp4")

from earshot import api
api.rank("a crisp UI click", ["click-a.wav", "click-b.wav"])
api.critique("film.mp4")

earshot.api nomlar sohasi reyting, tanqid va bir nechta faylning haqiqiyligini tahlil qilish kabi amallarni taqdim etadi. Bu chaqiruvlarni bitta Python jarayonida saqlash yuklangan modellardan qayta foydalanish imkonini beradi.

Earshot’ni MCP serveri sifatida ishga tushirish

Takroriy so‘rovlar yuboradigan agent uchun MCP serveri alohida CLI chaqiruvlaridan afzal, chunki modellar birinchi so‘rovdan keyin ham qizdirilgan holatda qoladi.

claude mcp add earshot --scope user -e EARSHOT_THREADS=3 -- /path/to/earshot/.venv/bin/python -m earshot mcp

Boshqa MCP bilan mos mijoz uchun uning .mcp.json fayliga mos sozlamalarni qo‘shing:

{"mcpServers":{"earshot":{"command":"/path/to/earshot/.venv/bin/python","args":["-m","earshot","mcp"],"env":{"EARSHOT_THREADS":"3"}}}}

Sekin ishlaydigan kompyuterda Claude Code’ni MCP_TIMEOUT=60000 bilan ishga tushiring. Ixtiyoriy llm_critique vositasi GEMINI_API_KEY qiymatini muhitdan o‘qiydi. API kalitini konfiguratsiya fayliga ochiq ko‘rinishda joylashtirmang.

Earshot Forge bilan tovushlar yaratish

Forge yozib olingan audioni joylashtirmasdan tovushlar yaratadi. Uning retseptlarida modal rezonatorlar, kontakt qo‘zg‘atishlari, filtrlangan shovqin, hisoblangan xona va mikrofon modeli kabi fizik sintez komponentlaridan foydalaniladi.

Avval kiritilgan retseptlar ro‘yxatini ko‘ring:

earshot forge

Reponing tarkibida chertishlar, zarbalar, klavish bosishlar, pop tovushlar va shuvillashlar uchun retseptlar mavjud. Haqiqiy yozuvlardan ma’lumotnoma sifatida foydalanib, klavish bosilishi tovushini izlash uchun quyidagini ishga tushiring:

earshot forge keypress --refs path/to/real/keypresses/ --budget 144 --reps 2 --tone 1.5 --keep 4 --robust 8 --dir made/keypress

Ehtimoliy chalkashliklarni nomlagan holda muayyan tavsifga yo‘naltirish uchun:

earshot forge whoosh --target "a fast crisp air whoosh" --alts "a wind gust" "a sword swing" --refs path/to/real/whooshes/ --tone 1.5 --dir made/whoosh

Forge parametrli nomzodlarni render qiladi, ularni tanqidchi yordamida baholaydi, kuchli natijalarni saqlab qoladi va evolyutsion qidiruv orqali o‘zgartiradi. Uning baholashi tavsifga moslik, nomlangan alternativalar, taxminiy haqiqiylik, ma’lumotnomalarga yaqinlik, o‘lchangan shakl, ton balansi, so‘nggi qism xususiyatlari va davomiylikni hisobga oladi.

Chiqishda turli WAV fayllari va nomzod parametrlari hamda ballarini o‘z ichiga olgan report.json fayli mavjud bo‘ladi. --robust N bilan tanlangan nomzodlar yangi tasodifiy urug‘lar yordamida qayta render qilinadi, shunda retsept faqat bir marta muvaffaqiyatli bo‘lishi emas, balki ishonchli ishlashini tekshirishingiz mumkin.

Forge natijalarini ehtiyotkorlik bilan baholang

Forge Earshot’ning o‘z modellariga nisbatan optimallashtiriladi, shuning uchun modelning yuqori bali tovush perseptiv jihatdan yaxshiroq ekanini kafolatlamaydi.

Yaratilgan tovushning uchdan bir oktavali balansi, so‘nggi qismi va davomiyligini ma’lumotnoma yozuvlari bilan solishtiring. Uning spektrogrammasini ma’lumotnomalar yonida tekshiring, mustahkamlik uchun qayta renderlarni sinang va sifat muhim bo‘lganda inson ishtirokidagi ko‘r-ko‘rona test o‘tkazing. README’da haqiqiylik modeli modal rezonator, xona aks-sadosi va shovqin polini birlashtirish kabi usullar bilan chalg‘itilishi mumkinligi haqida alohida ogohlantiriladi.

Ilg‘or ish jarayoni bo‘yicha maslahatlar

1. Vazifaga mos interfeysdan foydalaning. CLI bir nechta tekshiruv uchun qulay. Takroriy tahlil uchun modellar yuklangan holda qolishi uchun bitta Python jarayonidan yoki MCP serveridan foydalaning.
2. Kengroq boshlang, keyin farazlarni sinang. describe buyrug‘ini ishga tushiring, maqsad tavsifini tuzing, so‘ng aniq muqobillar bilan match buyrug‘idan foydalaning.
3. Semantik va obyektiv dalillarni ajrating. Modelga asoslangan baholarni measure, tonal muvozanat tekshiruvlari, to‘lqin shaklini ko‘rish va spektrogrammalar bilan birlashtiring.
4. Strukturali natijani saqlang. Boshqa dastur yoki agent barcha maydonlarni oddiy tildagi xulosa o‘rniga tekshirishi kerak bo‘lsa, --json yoki --out parametrlaridan foydalaning.
5. Haqiqiy ma’lumotnoma yozuvlaridan foydalaning. Ma’lumotnoma kataloglari taqqoslash va Forge baholashini yaxshilaydi, biroq bu yozuvlarning kelib chiqishi va litsenziyalari uchun javobgarlik sizning zimmangizda qoladi.
6. Ichki agent ko‘nikmalarini o‘rnating. skills/earshot va skills/real-sound kataloglarini ~/.claude/skills/ yoki loyihaning .claude/skills/ katalogiga nusxalang yoki ramziy havola yarating. Ular buyruq tanlash, xulosalarni talqin qilish, saundtrek yaratish, miks, QA va litsenziya tekshiruvlarini hujjatlashtiradi.

Cheklovlarni tushuning

Earshot ovoz balandligi, vaqt, tasvir bilan sinxronlash, alohida va aniq eshitiladigan tovushlarni moslashtirish, nomzodlarni saralash hamda kod orqali sintez qilinganligi yaqqol ko‘rinadigan manbalarni aniqlashda eng kuchli hisoblanadi. Serqatnov miksdan ajratib olingan teglar, shuningdek musiqa janri va kayfiyatiga oid baholar faqat yo‘l-yo‘riq sifatida ko‘rilishi kerak.

U did, hissiyot, kelib chiqish, litsenziyalar yoki nutq mazmunini aniqlay olmaydi. Uning modellari 14 kHz dan yuqori chastotalarni baholamaydi. Haqiqiylik xulosasi isbot emas, balki dalildir; o‘rnatilgan ishga tushirish profili esa uni yaratishda foydalanilgan atigi yetti filmni ifodalaydi.

Ishlab chiqarish jarayonida ballarga tayanishdan oldin o‘lchangan natijalar uchun repozitoriyning validatsiya hujjatlari va uning cheklovlar haqidagi hujjatlari bilan tanishing.

Xulosa

Earshot kod yozuvchi agentlarga mahalliy CPU vositalari yordamida tovushni tekshirish va yaratishning amaliy usulini beradi. describe, match va find buyruqlaridan boshlang; to‘liq filmlar uchun timeline, sheet va critique buyruqlariga o‘ting; to‘liq kod orqali parametrli effektlar yaratish kerak bo‘lganda esa Forge’dan foydalaning. Ishonchli qarorlar uchun model xulosalarini o‘lchovlar, ma’lumotnoma taqqoslashlari, vizual tekshiruv va inson tinglovi bilan birlashtiring.