MiDashengLM-Spatial Inafanya kazi

MiDashengLM-Spatial ni modeli kubwa ya uelewa wa sauti za anga iliyotolewa kama chanzo huria na timu ya Xiaomi Dasheng, ikiwa modeli ya kwanza ya mwisho hadi mwisho katika sekta inayounganisha uelewa wa jumla wa sauti na utambuzi wa anga ndani ya usanifu mmoja. MiDashengLM-Spatial inatumia MiDashengLM-7B kama msingi, na kuongeza kisimbaji cha Spatial-Dasheng pamoja na moduli ya masharti ya semantiki za ngazi mbalimbali hadi anga. Inaweza kutambua mwelekeo wa chanzo cha sauti, njia ya mwendo na uhusiano wa muda na anga kati ya vyanzo vingi vya sauti, huku ikiunga mkono utambuzi wa chanzo cha sauti kinachopishana kwa kila fremu. Ikiwa na matukio ya anga milioni 1 na data ya mafunzo ya QA milioni 6, imetolewa chini ya leseni ya Apache 2.0, na inalenga kutumika katika nyumba mahiri na vibanda vya magari.

Utambuzi wa chanzo cha sauti: Huamua ikiwa sauti inatoka upande wa kushoto, kulia au mbele moja kwa moja.
Utambuzi wa njia ya mwendo: Hutambua mwelekeo na njia ambayo chanzo cha sauti kinapitia angani.
Uchanganuzi wa uhusiano wa muda na anga wa vikundi: Huchanganua uhusiano wa nafasi kati ya vyanzo vingi vya sauti, kama vile ni kipi kiko upande wa kushoto zaidi au ikiwa viko upande mmoja.
Uelewa wa maudhui ya anga: Huchanganya “kilichosikika” na “sauti ilikotoka” ili kujibu maswali, kama vile kutambua ni mzungumzaji gani aliyeagiza chakula kwanza.
Maelezo ya sauti za anga: Hutoa kwa uwazi maelezo kamili ya nafasi, mwendo na uhusiano wa muda wa vyanzo vyote vya sauti katika tukio.
Unukuzi wa hotuba za anga: Hunukuu maudhui kwa mpangilio wa wazungumzaji na kuweka alama ya mwelekeo wa kila mzungumzaji.

Fuata akaunti ya WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Usanifu uliounganishwa wa matawi mawili: Modeli inatumia MiDashengLM-7B kama msingi na kupanuliwa kwa kisimbaji cha sauti za anga cha Spatial-Dasheng, na kuunda muundo wenye tawi la semantiki na tawi la anga linalofanya kazi sambamba. Matawi hayo yanahusika, kwa mtiririko huo, na kuelewa maudhui na kutambua mwelekeo, hivyo kuwezesha uelewa wa jumla wa sauti na utambuzi wa anga ndani ya modeli moja.
Kisimbaji cha Spatial-Dasheng: Kwa kutumia ingizo la binaural, hutambua na kuweka mahali vyanzo vya sauti vinavyopishana kwa kila fremu, na kunasa vidokezo vya binaural kama ITD/ILD ili kuunda modeli ya kina ya anga ya mwelekeo na njia ya mwendo ya chanzo cha sauti.
Masharti ya semantiki ya ngazi mbalimbali hadi anga (HSSC): Ni utaratibu wa masharti unaopitisha hatua kwa hatua uwakilishi wa tabaka za kati za tawi la semantiki hadi tabaka zinazolingana za tawi la anga, ili uundaji wa modeli ya anga unufaike na muktadha wa semantiki huku ukidumisha utengano huru wa kiutendaji wa matawi hayo mawili.
Njia ya data ya matukio ya anga inayoweza kupanuka: Kupitia uigaji, huunda matukio milioni 1 ya akustika ya anga yanayojumuisha sauti za mazingira, hotuba na muziki, na huzalisha kiotomatiki maelezo ya anga ya kiwango cha tukio pamoja na jozi za QA milioni 6 za uthibitishaji wa ukweli, hivyo kusaidia mafunzo ya uwezo wa anga kwa kiwango kikubwa.
Ujumlishaji wa Sim-to-Real: Modeli iliyofunzwa kwa data sintetiki huonyesha uwezo thabiti wa kutambua anga kwenye rekodi halisi za binaural, bila kupoteza utendaji wa msingi wa uelewa wa jumla wa sauti inapopata uwezo wa anga.

Clone hazina ya msimbo: git clone https://github.com/xiaomi-research/midashenglm-spatial.git。
Unda mazingira ya uelekezaji na usakinishe vitegemezi: conda create -n midashengspatial python=3.13 -y && conda activate midashengspatial, kisha pip install -r requirements.txt。
Pata uzito wa modeli: Hakuna haja ya kuupakua kivyake; msimbo utavuta kiotomatiki mispeech/midashenglm-spatial kutoka HuggingFace。
Andaa sauti ya binaural: Tumia sauti halisi ya binaural ya stereo yenye umbo (2, T)。
Pakia modeli na kichakataji: Tumia AutoModelForCausalLM na AutoProcessor kupakia modeli kwa trust_remote_code=True。
Unda ujumbe wa mazungumzo: Panga messages kwa mpangilio wa mafunzo wa “sauti kwanza, kisha maandishi”, kwa mfano sauti + “Write a general audio caption describing the sound source and its spatial information.”。
Tekeleza uelekezaji: Baada ya kuchakata ingizo kupitia processor.apply_chat_template, ita model.generate, kisha tumia batch_decode kutoa matokeo。
Endesha mfano wa marejeo: example/inference.py katika hazina hutoa mfano kamili unaoweza kuendeshwa moja kwa moja.

Ubunifu wa kwanza katika sekta: Ni modeli ya kwanza ya chanzo huria ya mwisho hadi mwisho inayounganisha sauti na lugha, ikiunga mkono uelewa wa jumla wa sauti na utambuzi wa anga ndani ya usanifu mmoja.
Uwezo bora wa kutambua anga: Kwenye sehemu ndogo ya hoja za anga ya STAR-Bench, usahihi ulifikia 70.3%, ukikaribia kiwango cha binadamu cha 73.7% na kuzidi kwa mbali 47.0% ya Gemini-3.6-Flash.
Utambuzi halisi na wa kuaminika: ACR ya Channel-Swap ilifikia 72.6%, ikithibitisha kuwa uamuzi wa mwelekeo wa kushoto na kulia unatokana na vidokezo halisi vya usikivu.
Hakuna kupoteza uwezo: Kwenye vigezo vya jumla kama maswali na majibu ya sauti ya mono, utambuzi wa hotuba na maelezo ya sauti, matokeo yanalingana kwa karibu na msingi wa MiDashengLM-7B; uwezo wa anga hautolewi kwa gharama ya matumizi ya jumla.
Uchanganuzi wa vyanzo vya sauti vinavyopishana: Kisimbaji cha Spatial-Dasheng kinaunga mkono utambuzi na uwekaji wa mahali wa vyanzo vinavyopishana kwa kila fremu, na kinaweza kushughulikia hali changamano kama watu wengi kuzungumza kwa wakati mmoja katika mazingira halisi.

Tovuti rasmi ya mradi: https://jinbo-hu.github.io/midashenglm-spatial-demo/
Hazina ya GitHub: https://github.com/xiaomi-research/midashenglm-spatial
Hazina ya modeli ya HuggingFace: https://huggingface.co/mispeech/midashenglm-spatial
Karatasi ya kiufundi ya arXiv: https://arxiv.org/pdf/2610.11156

Mwingiliano wa vibanda mahiri: Hutambua ni abiria wa kiti gani anayezungumza ndani ya gari, na kuwezesha utambuzi wa hotuba na utekelezaji wa maagizo kwa maeneo tofauti.
Utambuzi wa akustika wa nyumba mahiri: Hutumia spika au vifaa vya nyumbani kutambua mwelekeo na mwendo wa sauti ndani ya nyumba.
Sauti za anga za AR/VR: Hutoa uelewa wa anga wa kiwango cha usikivu kwa ulimwengu pepe, na kuwezesha utambuzi wa vyanzo vya sauti, uundaji wa maelezo ya anga na mwingiliano wa kuzama.
Vifaa vya kusaidia kusikia na vya ufikivu: Huwasaidia watu wenye ulemavu wa kusikia kutambua mwelekeo ambao sauti inatoka, na kuimarisha uelewa wa mazingira pamoja na usalama wa kusafiri.