Ming-3.0 Inafanya kazi

Ming-3.0 ni mfululizo wa modeli za sauti uliofunguliwa na Ant Group Ling, ukiwasilisha modeli tano kwa kazi tatu: usanisi wa sauti, uelewa na mazungumzo ya sauti, pamoja na utambuzi wa sauti. Mfululizo wa Ming-3.0-tts unaunga mkono “hali ya mkurugenzi” kwa udhibiti wa kina wa hisia, kasi na mkazo; mfululizo wa Ming-3.0-audio unaweza kuelewa rekodi ndefu kutoka mwanzo hadi mwisho na kutoa matokeo yaliyopangwa; mfululizo wa Ming-3.0-asr unaunga mkono uongezaji wa maneno muhimu na utambuzi wa lahaja. Modeli hizi tayari zinatumika katika huduma kadhaa za ndani za Ant, na zinapatikana kwa matumizi ya mtandaoni na kupitia API.

Voice Design muundo wa sauti: Tumia maelezo ya maandishi au sauti ya marejeo kubinafsisha sauti lengwa.
Hali ya mkurugenzi: Dhibiti kwa usahihi mabadiliko ya hisia, mahali pa mkazo na mpangilio wa kasi ya sauti kupitia maagizo.
Lebo za lugha saidizi ndani ya maandishi: Ingiza alama kama kicheko na pumzi katika maandishi ili hali ya mhusika iwe hai zaidi.
Uelewa wa sauti ndefu kutoka mwanzo hadi mwisho: Nakili, fupisha na toa makubaliano pamoja na tofauti moja kwa moja kutoka kwenye rekodi ndefu, huku ukihifadhi hisia na taarifa za wazungumzaji.
Ufafanuzi wa sauti na matumizi ya zana: Fanya hoja na uite zana za nje kulingana na uelewa wa rekodi, ili kusaidia kazi kamili za sauti.
Uongezaji wa maneno muhimu kwa Context ASR: Wasilisha orodha ya maneno muhimu na muktadha wa awali wa mazungumzo wakati wa utambuzi ili kutambua kwa usahihi lafudhi, majina ya maeneo na istilahi za kitaalamu.
Mtiririko wa kazi wa kuunganisha modeli: Uwezo wa TTS, Audio na ASR unaweza kuunganishwa kwa uhuru na kuingizwa katika mtiririko wa kazi wa msanidi.

Fuata akaunti ya WeChat na ujibu “开源” ili ujiunge na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Mfululizo wa Audio: Muundo wa uelewa wa sauti ndefu. Ming-3.0-audio-flash hutumia uwakilishi wa sauti wenye kasi ya chini ya fremu ya 6.25 Hz kwenye ingizo, na kubana urefu wa mfuatano unaolingana na rekodi hiyo; kiini cha lugha kinategemea Ling-3.0, kikiunganisha umakini mseto wa KDA na Gated MLA ili kunasa utegemezi wa masafa marefu huku kikidhibiti kiasi cha hesabu. Muundo wa MoE usio mnene huongezwa ili kupunguza zaidi mzigo wa uelekezaji, hivyo kuwezesha maswali mfululizo na majibu ya haraka kuhusu rekodi ndefu, huku ukihifadhi taarifa za kina za akustiki kama sauti za binadamu, matukio ya sauti na sauti za mazingira.
Mfululizo wa TTS: Uzalishaji wa sauti unaodhibitiwa kwa masharti. Ming-3.0-tts hufanikisha usanisi wa asili kwa ukubwa mdogo wa vigezo wa 0.5B. Wazo kuu ni kutumia maagizo ya mkurugenzi na maelezo ya sauti/sauti ya marejeo kama ingizo la masharti, kisha kuyaunganisha na maandishi ya usanisi ili kudhibiti kwa pamoja uzalishaji wa akustiki, hivyo modeli inaweza kuwasilisha viwango vya kina vya uigizaji kupitia maelezo ya maandishi.
Lebo za lugha saidizi za TTS: Udhibiti wa wazi wa matukio ya akustiki. Kwa kuingiza lebo za ndani kama [Laughter] katika maandishi, nafasi ya tukio la lugha saidizi hujulishwa wazi kwa modeli, na kuwezesha udhibiti sahihi wa kuingiza kicheko, pumzi, kikohozi na maonyesho mengine.
Mfululizo wa ASR: Uhandisi wa korpasi + uongezaji wa muktadha. Ming-3.0-asr-tiny huunda korpasi yenye ubora wa juu inayojumuisha Mandarin, Kiingereza, lahaja na maneno muhimu ya nyanja mbalimbali, huku ikidhibiti ipasavyo mgawanyo wa data. Wakati huohuo, hutumia uwezo wa uelewa wa muktadha wa msingi wa modeli ya lugha na kuingiza orodha ya maneno muhimu pamoja na muktadha wa awali wa mazungumzo kama taarifa za masharti katika mchakato wa utambuzi, kusaidia kutofautisha maneno yenye sauti sawa na majina yasiyozoeleka bila mafunzo ya ziada kwa mazingira mahususi.

Matumizi ya mtandaoni: Tembelea https://ling.tbox.cn, chagua Ming-3.0-audio-flash katika Ling Studio Chat, kisha pakia sauti ili kujaribu uwezo wa uelewa na mazungumzo ya sauti.
Kuunganisha API: Tumia Ling Studio kuita huduma za API zinazotolewa na modeli tatu za tts-0.5B, audio-flash na asr-tiny, na kuunganisha utambuzi pamoja na uzalishaji wa sauti katika mtiririko wako wa kazi.
Uendeshaji wa ndani: Pakua uzito wa modeli kutoka Hugging Face na uipakie ili kuiendesha katika mazingira ya ndani.
Kuunganisha katika mtiririko wa kazi: Unganisha uwezo wa TTS, Audio na ASR kulingana na mahitaji ili kutekeleza mzunguko kamili kama “ingizo la sauti→uelewa na uchanganuzi→utangazaji wa sauti”.

Inashughulikia kazi tatu kuu: Mistari mitatu ya bidhaa na modeli tano za usanisi wa sauti, uelewa wa sauti na utambuzi wa sauti, zinazowawezesha wasanidi kuchagua au kuunganisha kulingana na mahitaji yao.
Hali ya mkurugenzi ni ubunifu wa kipekee katika sekta: Tumia maagizo ya maandishi kudhibiti kwa usahihi hisia, mkazo na kasi, na kuzalisha sauti yenye kiwango cha uigizaji ambacho TTS ya kawaida hupata kwa shida.
0.5B ya vigezo inafikia SOTA: Uthabiti wa matamshi wa 93.2%, ukiwa katika nafasi ya 1 kwa pamoja kwenye orodha nzima; Controlled Voice 1069 Elo, nafasi ya 1 miongoni mwa modeli zenye uzito wazi; gharama ya uendeshaji ni ndogo zaidi kuliko modeli kubwa zenye kiwango sawa.
Uelewa wa sauti ndefu kutoka mwanzo hadi mwisho: Huhifadhi moja kwa moja taarifa kama hisia, utambulisho wa mzungumzaji na sauti za mazingira, na kuwezesha kutayarisha muhtasari wa mikutano na mahojiano kwa hatua moja.
Ufafanuzi bora wa sauti ndefu: Uwakilishi wa kasi ya chini ya fremu ya 6.25Hz + umakini mseto wa KDA/Gated MLA + MoE isiyo mnene hupunguza kwa kiasi kikubwa mzigo wa hesabu wa kuelewa na kuingiliana na rekodi ndefu.
Uongezaji wa maneno muhimu na muktadha bila mafunzo: Wakati wa utambuzi wa ASR, orodha ya maneno muhimu na muktadha wa awali wa mazungumzo vinaweza kuwasilishwa moja kwa moja; utambuzi wa lahaja, majina ya maeneo na istilahi za kitaalamu hauhitaji mafunzo ya ziada.

Mkusanyiko wa modeli wa HuggingFace: https://huggingface.co/collections/inclusionAI/ming-30

Kuandaa muhtasari wa mikutano na mahojiano: Tumia audio-flash kuchakata rekodi ndefu moja kwa moja, utoe kiotomatiki “suluhisho zilizokubaliwa, masuala yanayosubiri uamuzi na sababu za kila upande”, kisha utoe muhtasari wa kazi uliopangwa, na hivyo kuokoa muda wa kusoma nakala nzima kwa mikono.
Maudhui ya sauti na uigizaji wa wahusika: Timu za maudhui hutumia Voice Design na hali ya mkurugenzi ya TTS kutengeneza sauti zinazoendana kikamilifu na mistari ya wahusika kwa hisia, kasi na mtindo, huku zikiweza kuongeza kicheko na pumzi ili kuwafanya wahusika wawe hai zaidi.
Unukuzi wa sauti wa huduma kwa wateja na biashara: asr-tiny huongezewa maneno muhimu ya sekta kama majina ya bidhaa na maeneo pamoja na muktadha wa mazungumzo, na kutambua kwa usahihi sauti za wateja wenye lafudhi za lahaja. Inafaa kwa kurekodi huduma kwa wateja, utafutaji wa Alipay, uthibitishaji salama wa utambulisho na matukio mengine.
Msaidizi wa sauti wa bidhaa: Unganisha TTS na ASR ili kuunganisha hatua mbili za ingizo la sauti→uelewa wa maana→utangazaji wa sauti, kama vile mazungumzo makuu na simu za sauti katika programu ya A-Fu, pamoja na msaidizi wa kunakili sauti ya daktari.