Qwen-Audio-3.1 Inafanya kazi

Qwen-Audio-3.1 ni mfululizo wa miundo mikubwa ya sauti uliotengenezwa na Tongyi Qianwen, unaojumuisha miundo mitano: ASR utambuzi wa sauti, ASR-Next uelewa wa sauti, TTS usanisi wa sauti, TTS-Next uundaji wa sauti, na Realtime mwingiliano wa wakati halisi, unaoshughulikia mnyororo mzima wa uelewa, uzalishaji, mwingiliano na uundaji. Qwen-Audio-3.1 inasaidia lugha 30 na lahaja 16, unukuzi wa wazungumzaji tofauti, utambuzi wa hisia na mazungumzo ya wakati halisi ya duplex kamili, na inaweza kuita zana ili kukamilisha kazi.

ASR utambuzi wa sauti: Inasaidia unukuzi wa wazungumzaji tofauti katika lugha 30 na lahaja 16 za Kichina, ikiwa na lebo za wazungumzaji na mihuri ya muda, na inaweza kuboresha maandishi moja kwa moja.
ASR-Next uelewa wa sauti: Hupanua uelewa kutoka maandishi yaliyonukuliwa hadi hisia za watu, sauti za mazingira na sauti za mitambo, na inasaidia maelezo ya sauti, kubainisha matukio na maswali na majibu ya sauti.
TTS usanisi wa sauti: Inasaidia usanisi wa lugha na lahaja nyingi, uhamishaji wa asili wa sauti ileile kati ya lugha, na udhibiti wa hisia na kasi ya kuzungumza kwa maagizo.
TTS-Next uundaji wa sauti: Hutoa kwa wakati mmoja sauti ya binadamu, athari za sauti na sauti za mazingira zinazounda sauti kamili, inayofaa kwa podikasti, vitabu vya sauti, filamu na televisheni, michezo na matangazo.
Realtime mwingiliano wa wakati halisi: Husikiliza na kuzungumza kwa wakati mmoja katika duplex kamili, huelewa hisia na nia, hubadilisha lugha nyingi, na inaweza kuita zana wakati wa mazungumzo ili kukamilisha kazi.

Uundaji wa pamoja wa mwisho hadi mwisho (ASR): Qwen-Audio-3.1-ASR hutumia mbinu ya mwisho hadi mwisho, ikitoa kwa pamoja lebo za wazungumzaji, mihuri ya muda na maandishi yaliyonukuliwa, badala ya uchakataji wa hatua kwa hatua wa mifumo ya kawaida iliyounganishwa. Hivyo inaweza kuhifadhi maingiliano mafupi na sauti zinazoingiliana; pia ina uwezo wa kuondoa maneno ya kujaza, kuondoa marudio, kujisahihisha na kupanga upya maana, hivyo matokeo ya unukuzi yanaweza kutumika moja kwa moja katika kumbukumbu za mikutano na uchanganuzi wa mazungumzo.
Muundo wa kizazi kijacho wa uelewa wa sauti (ASR-Next): ASR-Next inategemea muundo wa kizazi kijacho unaopanua kitu kinachochakatwa kutoka “maneno katika sauti” hadi mawimbi kamili ya sauti. Kupitia kuelewa hisia za akustika, sauti za mazingira na sauti za mitambo, hutambua, hueleza na kufanyia hoja matukio ya sauti, jambo linaloashiria mabadiliko ya ASR kutoka zana ya unukuzi hadi muundo wa jumla wa uelewa wa sauti.
Uhamishaji wa sauti na udhibiti wa uwasilishaji (TTS): Muundo wa TTS unapita zaidi ya usanisi wa jadi unaolenga usahihi wa matamshi pekee. Huwezesha uhamishaji wa asili wa sauti ileile kati ya lugha na lahaja, na huunda hisia, kasi ya kuzungumza na mtindo wa uwasilishaji kwa maagizo, ili sauti iliyosanisishwa ilingane na maudhui na mazingira.
Uzalishaji wa sauti uliounganishwa (TTS-Next): TTS-Next huunganisha aina tatu za ingizo: maandishi, mihuri ya muda na sauti ya marejeo, ili kuzalisha kwa pamoja sauti ya binadamu, athari za sauti na sauti za mazingira. Katika mazungumzo ya raundi nyingi hudumisha uthabiti wa sauti na hisia za kila mhusika, na hudhibiti mchakato wa uzalishaji kwa lugha asilia. Inasaidia udhibiti wa mihuri ya muda kwa undani, kunakili sauti na matokeo ya uaminifu wa juu ya 48kHz.
Muundo wa duplex kamili wenye usafishaji wa walimu wengi (Realtime): Realtime hutumia muundo wa usafishaji wa walimu wengi, ukiimarisha uelewa, hoja, uwasilishaji na usalama huku ukidumisha ucheleweshaji mdogo. Huwezesha mwingiliano wa duplex kamili, ambapo kuzungumza na kusikiliza hufanyika kwa wakati mmoja, na inaruhusu kuingilia mazungumzo wakati wowote; muundo huu unaunganisha uwezo wa kuita zana, hivyo unaweza kuelewa mahitaji yanayobadilika katika mazungumzo yanayoendelea na kuunganisha API za nje, hifadhidata za maarifa na mifumo ya biashara ili kukamilisha kazi.

Fungua jukwaa la Qianwen AI: Tembelea https://www.qianwenai.com/ na uingie kwenye akaunti, kisha uende kwenye soko la miundo.
Chagua muundo unaohitaji: Chagua muundo unaolingana na mahitaji yako, ASR (unukuzi), TTS (usanisi), TTS-Next (uundaji), au Realtime (mwingiliano wa wakati halisi), kisha ubofye ili kufungua ukurasa wa maelezo.
Pata API Key: Washa huduma ya muundo kwenye dashibodi na uunde API Key kwa uthibitishaji wa kiolesura.
Calling kiolesura: Rejelea hati za API kwenye ukurasa wa maelezo wa kila muundo, kisha tumia ombi la HTTP kutuma vigezo vya sauti au maandishi (ASR-Next API bado haijazinduliwa; subiri ifunguliwe).
Unganisha kwenye programu: Unganisha kiolesura kwenye programu, Agent au kifaa mahiri chako ili kukamilisha kazi za sauti mtandaoni.

Uwezo mkubwa wa lugha na lahaja nyingi: Muundo mmoja unaunga mkono lugha 30 na lahaja 16 za Kichina, huku utambuzi wa lahaja ngumu kama Wenzhou ukiwa umeimarika sana.
Unukuzi ulioboreshwa kwa akili: ASR huondoa moja kwa moja maneno ya kujaza na marudio, na kupanga upya maana ili kutoa maandishi yaliyopangwa vizuri, yenye mtiririko na mantiki zaidi.
Unukuzi wa usahihi wa juu kwa wazungumzaji tofauti: Hutoa kwa mwisho hadi mwisho lebo za wazungumzaji, mihuri ya muda na maandishi, na kwa ujumla hushinda mfumo uliounganishwa wa Fun-ASR.
Uelewa wa sauti ulioboreshwa: ASR-Next huelewa hisia, sauti za mazingira na sauti za mitambo, na kubadilika kutoka “kunukuu maandishi” hadi “kuelewa sauti kamili”.
Uundaji uliounganishwa: TTS-Next huzalisha kwa wakati mmoja sauti ya binadamu, athari za sauti na sauti za mazingira, huku sauti na hisia za wahusika wengi zikibaki thabiti, na hivyo kuchukua nafasi ya mchakato wa baada ya utayarishaji unaohitaji wataalamu wengi.
Mwingiliano wa wakati halisi wa kiwango cha binadamu: Husikiliza na kuzungumza kwa wakati mmoja katika duplex kamili, inaruhusu kuingiliwa, huhisi hisia na inaweza kuita zana ili kukamilisha kazi.
Ucheleweshaji mdogo na utendaji wa juu: Utambuzi wa mtiririko hujibu herufi ya kwanza baada ya takriban milisekunde 160, huku Realtime ikitumia usafishaji wa walimu wengi kusawazisha ucheleweshaji mdogo na uwezo wa kufikiri.

Onyesho la mtandaoni: Qwen-Audio-3.1-ASR：https://www.qianwenai.com/models/qwen-audio-3.1-asr-flash
Qwen-Audio-3.1-TTS：https://www.qianwenai.com/models/qwen-audio-3.1-tts-flash
Qwen-Audio-3.1-TTS-Next：https://www.qianwenai.com/models/qwen-audio-3.1-tts-next
Qwen-Audio-3.1-Realtime：https://www.qianwenai.com/models/qwen-audio-3.1-realtime-plus

Kumbukumbu za mikutano na mahojiano: Tumia unukuzi wa wazungumzaji tofauti na mihuri ya muda ya ASR ili kutoa kiotomatiki rekodi iliyopangwa ya “nani alisema nini na lini”. Uboreshaji wa asili huondoa uchafu wa mazungumzo na kuongeza kwa kiasi kikubwa ufanisi wa mikutano.
Uundaji wa podikasti na vitabu vya sauti: TTS-Next huzalisha kwa wakati mmoja sauti kamili yenye mazungumzo ya wahusika wengi, athari za sauti na sauti za mazingira. Sauti na hisia za wahusika mbalimbali hubaki thabiti, hivyo kuondoa hitaji la ushirikiano kati ya mtangazaji, mtaalamu wa athari za sauti na mchanganyaji.
Huduma kwa wateja ya sauti ya wakati halisi/msaidizi mahiri: Kwa kutumia mwingiliano wa duplex kamili na uwezo wa kutambua hisia wa Realtime, jenga huduma ya sauti kwa wateja inayoweza kuingiliwa na yenye uelewa wa hisia, na inayoweza kuita mifumo ya biashara wakati wa mazungumzo ili kukamilisha kazi kama utafutaji na uwekaji wa oda.
Utalii wa kimataifa na mawasiliano ya lugha nyingi: Kwa kubadili lugha 30 kwa wakati halisi na kusanisi sauti ileile katika lugha tofauti, toa uzoefu wa asili na wenye mtiririko wa tafsiri na mawasiliano ya sauti kwa mipango ya safari, biashara ya mtandaoni ya kimataifa na mikutano ya kimataifa.
Vifaa mahiri vya AI: Ukiunganishwa na vifaa kama QwenNote na miwani ya Qianwen AI, mtumiaji hahitaji kufungua kompyuta au simu; anaweza kuanzisha kazi, kuongeza masharti na kufuatilia utekelezaji moja kwa moja kwa sauti, na kufanya sauti kuwa lango la asili la vifaa vya AI.