Jinsi ya Kuwapa Mawakala wa Uandishi wa Msimbo Uchanganuzi wa Sauti na Uundaji wa Sauti kwa Earshot

Earshot Inachofanya

Earshot ni zana ya ndani ya kuchanganua sauti na kusanisi sauti, iliyoundwa kwa ajili ya mawakala wa usimbaji wa AI. Hubadilisha sauti kuwa ushahidi uliopangwa: maelezo ya lugha rahisi, alama za ulinganishaji zilizopimwa, matukio yenye muda, vipimo vya lengo, laha za kuona za sauti, na uhakiki wa filamu za uzinduzi.

Inaweza kujibu maswali kama ikiwa athari inasikika kama kubonyeza kitufe cha kimitambo kwa kina, tukio fulani linatokea wapi katika rekodi ndefu, sauti mbili zinazowania zinatofautianaje, au ikiwa wimbo unaambatana na mikato ya picha. Pia inaweza kusanisi athari kutoka kwenye msimbo kupitia earshot forge.

Earshot hufanya kazi ndani ya kifaa kwa kutumia CPU na inapatikana kupitia kiolesura cha mstari wa amri, API ya Python, na seva ya MCP kwa zana kama Claude Code. Baada ya kupakua modeli mara ya kwanza, vipengele vyake vya kawaida vya uchanganuzi vinaweza kufanya kazi bila intaneti.

Uwezo Muhimu

• Eleza sauti: describe hurudisha lebo zilizopimwa, tafsiri mbadala, lebo za AudioSet, na vipimo.
• Linganishia na kupanga watahiniwa: match hutathmini jinsi faili moja inavyolingana na maelezo, huku rank ikipanga faili nyingi kulingana na swali.
• Tafuta matukio: find hutambua nyakati zinazolingana zaidi katika rekodi ndefu na kuripoti nyakati za kuanza na kumaliza zilizo tayari kwa kukata.
• Linganisha sauti: compare hutafuta rekodi za marejeo, huku ab ikieleza tofauti kati ya sauti au vipande viwili.
• Tathmini uhalisia: realness hukadiria ikiwa sauti inafanana na rekodi halisi au iliyotengenezwa kitaalamu badala ya sauti iliyosanisiwa kwa msimbo.
• Changanua nyimbo: timeline hutambua matukio, sehemu, viwango, midundo, na ulandanishaji na mikato ya video au fremu za viashiria.
• Unda ripoti za kuona: sheet hutengeneza PNG iliyo na maelezo, ikijumuisha fremu za video, matukio, sehemu, mawimbi ya sauti, spektrogramu, ukali wa sauti, na alama za ulandanishaji.
• Hakiki filamu za uzinduzi: critique hulinganisha filamu na wasifu ulioundwa kutokana na filamu saba za kitaalamu za uzinduzi na kupendekeza marekebisho yenye mihuri ya muda.
• Pima kwa lengo: measure huripoti sifa kama LUFS, kilele halisi, masafa ya ukali wa sauti, bahasha, spektra, tempo, na toni bila kutumia modeli.
• Sani athari: forge hutoa sauti kutoka kwenye msimbo na kutafuta vigezo vya mapishi kwa kutumia wakosoaji wa Earshot na vipimo visivyotumia modeli.

Sakinisha Earshot

Mahitaji ya Awali

Unahitaji Python 3.10 au mpya zaidi, pamoja na ffmpeg na ffprobe zote zipatikane katika njia ya mfumo wako. Earshot hutumia CPU pekee na haitumii GPU.

Unda Mazingira

git clone https://github.com/Leonxlnx/earshot
cd earshot
python -m venv .venv
.venv/bin/python -m pip install torch --index-url https://download.pytorch.org/whl/cpu
.venv/bin/python -m pip install -e ".[mcp,llm,dev]"
.venv/bin/python -m earshot doctor --load

Kwenye Windows, badilisha .venv/bin/python na .venv/Scripts/python.

Operesheni ya kwanza inayotumia modeli hupakua takriban GB 1.4 ndani ya .cache/hf kwenye hazina, isipokuwa usanidi EARSHOT_HOME. Earshot hutumia modeli ya CLAP laion/larger_clap_general kwa upachikaji wa maandishi na sauti, na MIT/ast-finetuned-audioset-10-10-0.4593 kwa kuweka lebo za AudioSet.

Tekeleza amri ya uchunguzi kila unapohitaji kuthibitisha vitegemezi, faili za data, modeli, usahihi, au mipangilio ya CPU:

.venv/bin/python -m earshot doctor --load

Sanidi Mipangilio ya CPU na Akiba

• EARSHOT_THREADS hudhibiti idadi ya nyuzi za CPU za Torch.
• EARSHOT_HOME hubadilisha mzizi wa akiba.
• EARSHOT_PRECISION=fp32 hulazimisha FP32. Chaguo-msingi ni BF16 kwenye CPU zenye usaidizi asilia pekee, na FP32 kwingineko.
• EARSHOT_OFFLINE=1 huwezesha uendeshaji bila intaneti baada ya modeli kupakuliwa.

Matumizi ya Msingi ya Mstari wa Amri

Eleza Sauti

Anza na describe unapotaka maelezo mafupi ya faili usiyoifahamu:

earshot describe enter.ogg

Muhtasari unaweza kujumuisha muda, umbo la msukumo wa mwanzo, kategoria zinazowezekana za sauti, alama za z zilizopimwa, kiwango cha kilele, mwangaza, na tafsiri mbadala. Ongeza --json ili kupata matokeo kamili yaliyopangwa au --out result.json ili kuyahifadhi.

Jaribu Maelezo Mahususi

Tumia match unapojua tayari sauti unayotaka. Maelezo mbadala husaidia kutofautisha lengo na sauti zinazoweza kuchanganywa nayo:

earshot match key.ogg "a deep thocky mechanical keyboard press" --alts "a clicky blue switch keyboard" "a mouse click"

Matokeo yanajumuisha ufanano wa kosaini, alama ya z iliyopimwa kulingana na msamiati, na hitimisho kama strong, plausible, weak, au no match.

Panga Faili Kadhaa Zinazowania

Ili kuchagua faili bora kutoka kwenye mkusanyiko, pitisha maelezo yakifuatwa na njia za faili:

earshot rank "a fast crisp air whoosh" sounds/one.wav sounds/two.wav sounds/three.wav

Hii ni muhimu wakati wakala amepakua au kutoa athari kadhaa zinazowezekana na anahitaji mpangilio unaotegemea ushahidi.

Tafuta Tukio Ndani ya Rekodi Ndefu

Amri ya find hutafuta ndani ya rekodi na kurudisha nyakati za sampuli zilizo tayari kwa kukata:

earshot find keys.ogg "a single mechanical key press" --top 4

Kila matokeo lina muda wa kuanza, muda wa kumaliza, muda wa uendelezaji, alama na uamuzi. Mihuri hiyo ya muda inaweza kutumika baadaye kutoa tukio safi kutoka kwenye chanzo kikubwa zaidi.

Pima bila tafsiri ya modeli

Tumia measure unapohitaji sifa za sauti zinazoweza kurudiwa badala ya hukumu za kisemantiki:

earshot measure soundtrack.wav --json

Hii huripoti taarifa za lengo zikiwemo sauti, kilele halisi, masafa ya sauti, bahasha, spektra, tempo na kiashiria.

Changanua Wimbo wa Filamu

Unda ratiba ya usikilizaji

Tumia timeline kuunda manukuu ya usikilizaji ya kila sekunde. Kutoa video huwezesha Earshot kutathmini usawazishaji na mikato ya picha pamoja na fremu za vidokezo:

earshot timeline soundtrack.wav --video film.mp4 --json

Matokeo yanaweza kujumuisha matukio yaliyotambuliwa, sehemu, viwango, sauti, gridi ya midundo na ushahidi wa usawazishaji wa sauti na video.

Unda laha ya sauti yenye maelezo

Laha ya sauti huweka tabaka kuu za uchanganuzi katika picha moja ambayo wakala wa kuona anaweza kuikagua:

earshot sheet soundtrack.wav --video film.mp4 -o out.png

PNG iliyozalishwa inaweza kuchanganya fremu wakilishi, matukio yaliyopewa lebo, sehemu, umbo la mawimbi, spektrogramu, sauti, midundo na alama za usawazishaji.

Tengeneza ukosoaji wa filamu ya uzinduzi

Endesha critique ili kulinganisha filamu na wasifu uliojumuishwa wa Earshot wa filamu saba za kitaalamu za uzinduzi:

earshot critique film.mp4

Ripoti hutoa uamuzi, hutambua vipimo vilivyo ndani au nje ya masafa ya wasifu na hupanga marekebisho yenye mihuri ya muda kwa kipaumbele. Chukulia hii kama ulinganisho na mtindo mmoja mahususi wa filamu ya uzinduzi, wala si kipimo cha jumla cha ubora.

Unaweza pia kuunda wasifu kutoka kwa filamu unazozipenda:

earshot profile reference-one.mp4 reference-two.mp4 reference-three.mp4 -o custom-profile.json

Tumia Earshot kutoka Python

Kiolesura cha Python huepuka kuanzisha mchakato mpya kwa kila operesheni. Hii ni muhimu kwa sababu miito binafsi ya CLI hupakia modeli na inaweza kuchukua takriban sekunde 20 hadi 40 kabla ya kurudisha matokeo.

import earshot

earshot.describe("whoosh.wav")
earshot.find("typing.ogg", "a single isolated key press")
earshot.timeline("soundtrack.wav", video="film.mp4")

from earshot import api
api.rank("a crisp UI click", ["click-a.wav", "click-b.wav"])
api.critique("film.mp4")

Nafasi ya majina earshot.api hutoa operesheni zikiwemo kupanga kwa viwango, ukosoaji na uchanganuzi wa uhalisia wa faili nyingi. Kuweka miito hii katika mchakato mmoja wa Python huwezesha modeli zilizopakiwa kutumiwa tena.

Endesha Earshot kama Seva ya MCP

Kwa wakala atakayefanya maombi yanayorudiwa, seva ya MCP inapendelewa kuliko miito tofauti ya CLI kwa sababu modeli hubaki tayari baada ya ombi la kwanza.

claude mcp add earshot --scope user -e EARSHOT_THREADS=3 -- /path/to/earshot/.venv/bin/python -m earshot mcp

Kwa mteja mwingine anayeoana na MCP, ongeza mipangilio inayolingana kwenye .mcp.json yake:

{"mcpServers":{"earshot":{"command":"/path/to/earshot/.venv/bin/python","args":["-m","earshot","mcp"],"env":{"EARSHOT_THREADS":"3"}}}}

Kwenye mashine yenye kasi ndogo, anza Claude Code kwa MCP_TIMEOUT=60000. Zana ya hiari ya llm_critique husoma GEMINI_API_KEY kutoka kwenye mazingira. Usiweke ufunguo halisi wa API katika faili ya usanidi.

Tengeneza Sauti kwa Earshot Forge

Forge huunda sauti bila kupachika sauti zilizorekodiwa. Mapishi yake hutumia vipengele vya usanisi wa kimwili kama vile resoneta za modali, misisimko ya mguso, kelele iliyochujwa, chumba kilichokokotolewa na modeli ya maikrofoni.

Orodhesha kwanza mapishi yaliyojumuishwa:

earshot forge

Hazina hii inajumuisha mapishi ya mibofyo, migongano, mibofyo ya vitufe, mipasuko na sauti za upepo. Ili kutafuta sauti ya kubonyeza kitufe kwa kutumia rekodi halisi kama marejeo, endesha:

earshot forge keypress --refs path/to/real/keypresses/ --budget 144 --reps 2 --tone 1.5 --keep 4 --robust 8 --dir made/keypress

Ili kulenga maelezo mahususi huku ukitaja mkanganyiko unaowezekana:

earshot forge whoosh --target "a fast crisp air whoosh" --alts "a wind gust" "a sword swing" --refs path/to/real/whooshes/ --tone 1.5 --dir made/whoosh

Forge hutoa watahiniwa wenye vigezo, huwapa alama kwa kutumia mkosoaji, huhifadhi matokeo thabiti na kuyabadilisha kupitia utafutaji wa kimageuzi. Utoaji wa alama huzingatia ulinganifu wa maelezo, mbadala zilizotajwa, uhalisia unaokadiriwa, ukaribu na marejeo, umbo lililopimwa, uwiano wa toni, tabia ya mwisho na urefu.

Matokeo yanajumuisha faili mbalimbali za WAV na report.json yenye vigezo na alama za watahiniwa. Kwa --robust N, watahiniwa waliochaguliwa hutolewa tena kwa mbegu mpya za nasibu ili uweze kuangalia kama kichocheo kinaendelea kuwa cha kutegemeka badala ya kufanikiwa mara moja tu.

Tathmini kwa uangalifu matokeo ya Forge

Forge huboresha matokeo kwa kutumia modeli zake za Earshot, kwa hivyo alama ya juu ya modeli haihakikishi kuwa sauti ni bora zaidi kimtazamo.

Linganisha uwiano wa theluthi moja ya oktava, mwisho na urefu wa sauti iliyozalishwa na rekodi za marejeo. Kagua spektrogramu yake kando ya marejeo, jaribu utoaji tena thabiti na fanya jaribio la upofu la kibinadamu wakati ubora ni muhimu. README inaonya hasa kwamba modeli ya uhalisia inaweza kudanganywa na mbinu kama vile kuchanganya resoneta ya modali, mwitikio wa chumba na sakafu ya kelele.

Vidokezo vya Mtiririko wa Juu wa Kazi

1. Tumia kiolesura kinachofaa kwa mzigo wa kazi. CLI ni rahisi kwa uchunguzi michache. Tumia mchakato mmoja wa Python au seva ya MCP kwa uchanganuzi unaorudiwa ili miundo ibaki imepakiwa.
2. Anza kwa upana, kisha jaribu dhana. Tekeleza describe, tengeneza maelezo ya lengo, kisha tumia match pamoja na njia mbadala zilizoainishwa wazi.
3. Tenganisha ushahidi wa kimaana na wa kimalengo. Unganisha hukumu zinazotegemea miundo na measure, ukaguzi wa uwiano wa toni, uchunguzi wa mawimbi, na spectrogramu.
4. Hifadhi matokeo yaliyopangwa. Tumia --json au --out wakati programu au wakala mwingine anahitaji kukagua sehemu zote badala ya muhtasari wa lugha ya kawaida.
5. Tumia rekodi halisi za marejeleo. Saraka za marejeleo huboresha ulinganishaji na tathmini ya Forge, lakini unabaki kuwajibika kwa asili na leseni za rekodi hizo.
6. Sakinisha ujuzi wa mawakala uliojumuishwa. Nakili au unda symlink ya skills/earshot na skills/real-sound ndani ya ~/.claude/skills/ au .claude/skills/ ya mradi. Hivi vinaeleza uteuzi wa amri, tafsiri ya hukumu, utayarishaji wa sauti za filamu, uchanganyaji, QA, na ukaguzi wa leseni.

Elewa Mipaka

Earshot ina nguvu zaidi katika sauti kubwa, muda, ulandanishi na picha, ulinganishaji wa sauti moja zilizo wazi, kupanga watahiniwa kwa viwango, na kutambua vyanzo dhahiri vilivyosanifiwa kwa msimbo. Lebo zinazotolewa kutoka kwa michanganyiko yenye shughuli nyingi, pamoja na hukumu kuhusu aina na hali ya muziki, zinapaswa kuchukuliwa kama vidokezo.

Haiwezi kubaini ladha, hisia, asili, leseni, au maudhui ya hotuba. Miundo yake haitathmini masafa yaliyo juu ya kHz 14. Hukumu ya uhalisia ni ushahidi wala si uthibitisho, na wasifu wa uzinduzi uliojengewa ndani unawakilisha filamu saba pekee zilizotumika kuuunda.

Angalia nyaraka za uthibitishaji za hazina kwa matokeo yaliyopimwa, pamoja na nyaraka za mipaka, kabla ya kutegemea alama katika mtiririko wa kazi wa uzalishaji.

Hitimisho

Earshot huwapa mawakala wa usimbaji njia ya vitendo ya kukagua na kuunda sauti kwa kutumia zana za CPU za ndani. Anza na describe, match, na find; nenda kwenye timeline, sheet, na critique kwa filamu kamili; na tumia Forge unapohitaji madoido yenye vigezo yaliyoundwa kabisa kwa msimbo. Kwa maamuzi ya kuaminika, unganisha hukumu za miundo na vipimo, ulinganishaji wa marejeleo, ukaguzi wa kuona, na usikilizaji wa kibinadamu.