Hy-SimulMT Inafanya kazi

Hy-SimulMT ni modeli kubwa ya ukalimani wa wakati mmoja iliyowaziwa na Tencent Hunyuan, inayosaidia tafsiri ya papo hapo ya sauti hadi sauti kati ya Kichina na Kiingereza, huku ikitafsiri wakati wa kusikiliza na kuiga sauti ya mzungumzaji kwa wakati halisi. Majaribio yanaonyesha kuwa Hy-SimulMT ina ucheleweshaji wa majibu wa takriban sekunde 3, bora kuliko kiwango cha sekunde 4–5 cha wakalimani wa binadamu; kwenye seti ya tathmini ya RealSI, ina ucheleweshaji wa chini zaidi huku ubora wa tafsiri ukiwa bora zaidi miongoni mwa miradi huria, ikizidi API nyingi za kibiashara, na katika majaribio ya nyanja mbalimbali ubora wake ulizidi ule wa wataalamu wa ukalimani wa wakati mmoja.

Ukalimani wa sauti wa wakati halisi: Sauti ya mzungumzaji inaweza kuingizwa mfululizo kwenye modeli; modeli husikiliza na kutafsiri kwa wakati mmoja, kisha kutoa tafsiri huku ikizungumza, hivyo kuwezesha tafsiri ya papo hapo ya sauti hadi sauti kati ya Kichina na Kiingereza katika pande zote mbili.
Uigaji wa sauti kwa wakati halisi: Matokeo ya tafsiri yanaweza kuhifadhi sauti na mtindo wa kuzungumza wa mzungumzaji mwenyewe. Katika mazungumzo ya watu wengi, inaweza kutofautisha na kurejesha sauti za wazungumzaji mbalimbali.
Matokeo ya maandishi na sauti: Modeli inaweza kutoa maandishi ya tafsiri (toleo la Interleave pia linaweza kutoa maandishi ya lugha chanzo kwa wakati mmoja), na huduma ya TTS inayohusishwa inaweza kutoa sauti ya tafsiri.
Majibu yenye ucheleweshaji mdogo: Majaribio yanaonyesha ucheleweshaji wa ukalimani wa takriban sekunde 3, haraka kuliko kiwango cha sekunde 4.5–4.7 cha wakalimani wataalamu wa binadamu.

Fuata WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi huria ya AI
Usimbaji wa ukalimani wa mtiririko: Uelewa wa nyongeza na “kuanza kuzungumza kwanza, kisha kurekebisha”. Msingi wa ukalimani wa wakati mmoja ni kusawazisha kati ya “kupata taarifa zaidi ili kutafsiri kwa usahihi” na “kuanza mapema ili kusikilika vizuri”. Hy-SimulMT haisubiri mzungumzaji amalize kuzungumza; hupokea na kuelewa sauti inayoendelea hatua kwa hatua, hukusanya kiasi kidogo tu cha taarifa ya sauti na kuanza kutoa tafsiri. Taarifa zaidi zinapowasili, ikigundua kuwa matokeo ya awali hayajakamilika au yana makosa, hurekebisha tafsiri kama mkalimani wa binadamu anavyojirekebisha.
Kiini cha tafsiri cha MoE chenye ukubwa mkubwa na uanzishaji haba: Modeli huria ni Hy-SimulMT-30B-A3B, yaani usanifu wa wataalamu mchanganyiko (MoE) wenye jumla ya vigezo 30B na takriban vigezo 3B vinavyoamilishwa kila mara, unaotegemea familia ya modeli ya Hunyuan HYV3ForCausalLM, huku vLLM ikiwa injini kuu ya uendeshaji. Muundo wa uanzishaji haba huiwezesha kudumisha ubora wa tafsiri wa modeli kubwa huku gharama ya uendeshaji ikikaribia ile ya modeli ndogo, hivyo kufaa kwa ukalimani wa wakati mmoja unaohitaji kasi katika mazingira ya mtandaoni.
Uigaji wa sauti hukamilishwa na kipengele huru cha TTS: Modeli yenyewe hushughulikia utambuzi wa sauti wa mtiririko na tafsiri ya wakati mmoja, kisha kutoa maandishi (ikiwa na hali mbili za matokeo: tafsiri pekee au lugha chanzo pamoja na tafsiri). Usanisi wa sauti na uigaji wa sauti ya ingizo hushughulikiwa na huduma ya TTS inayoweza kusanidiwa. Muundo huu wa moduli huruhusu ubora wa tafsiri na uasilia wa sauti kuboreshwa kando, na kurahisisha kuunganisha huduma za TTS za wahusika wengine; hasara yake ni kwamba makosa ya utambuzi wa ASR katika mnyororo wa hatua yanaweza kuhamishiwa kwenye hatua zinazofuata, hivyo yanahitaji kufyonzwa kupitia uimara wa modeli ya tafsiri.

Nakili hazina: Tekeleza git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git na uingie kwenye saraka ya mradi.
Weka huduma ya uendeshaji kwa amri moja: Ingia kwenye saraka ya SimulInfer/ na utekeleze bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave.
Sanidi TTS (si lazima): Ikiwa unahitaji matokeo ya sauti na uigaji wa sauti, sanidi muunganisho wa huduma ya TTS katika config.toml; tafsiri ya maandishi pekee haihitaji hatua hii.
Anza kutumia: Subiri terminal ionyeshe Ready: http://127.0.0.1:8080/, fungua anwani hiyo kwenye kivinjari, chagua mwelekeo wa tafsiri, kisha pakia faili ya sauti au washa maikrofoni na uzungumze. Bofya «Stop and finish» ili kumaliza.
Matumizi ya mstari wa amri: Tumia curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav kupakia faili, au tumia mteja wa simulinfer-client unaokuja na hazina ili kupata matokeo ya tafsiri.

Uongozi katika ucheleweshaji mdogo: StreamLAAL ya majaribio ni takriban sekunde 3, haraka kuliko wakalimani wataalamu wa binadamu, na ni modeli huria ya ukalimani wa wakati mmoja yenye ucheleweshaji wa chini zaidi miongoni mwa mifumo iliyolinganishwa.
Ubora na kasi kwa pamoja: Katika tathmini ya sauti ndefu ya RealSI, ilifikia “ucheleweshaji wa chini zaidi + ubora wa juu zaidi”, huku alama ya GEMBA ikizidi modeli zote huria zilizolinganishwa na API 4 kati ya 5 za kibiashara.
Kufikia kiwango cha wataalamu wa binadamu: Katika ulinganisho wa upofu na wataalamu 6 wa ukalimani wa wakati mmoja wenye vyeti vya CATTI vya daraja la kwanza/pili, ilipata alama ya juu zaidi ya ubora wa tafsiri na kasi ya majibu ilikuwa kubwa zaidi.
Uigaji wa sauti wa wakati halisi: Sauti ya tafsiri inaweza kurejesha kwa kiwango cha juu sauti na mtindo wa mzungumzaji. Katika mazingira ya watu wengi, inaweza kutofautisha wazungumzaji mbalimbali, na kufanya mawasiliano yawe ya asili zaidi.

Hazina ya GitHub: https://github.com/Tencent-Hunyuan/Hy-SimulMT
Hazina ya modeli ya HuggingFace: https://huggingface.co/collections/tencent/hy-simulmt

Mikutano na vikao vya kimataifa: Imeteuliwa katika shughuli kubwa za kimataifa kuwa programu rasmi ya tafsiri ya AI kwa wajitolea na wahudumu wa msingi, kwa ajili ya kuwapokea wageni wa kigeni na kuwezesha mawasiliano ya eneo.
Mazungumzo ya kibiashara na mikutano ya lugha mbalimbali: Katika mikutano ya kimataifa ya kampuni, huwezesha tafsiri ya papo hapo kati ya Kichina na Kiingereza, huku washiriki wakizungumza na kusikiliza kwa lugha zao za mama, na kupunguza gharama za mawasiliano.
Ukalimani wa wakati mmoja kwa hotuba na mafunzo: Katika matukio ya mtu mmoja kuzungumza kwa muda mrefu, kama mihadhara ya kitaaluma, mafunzo ya ndani ya kampuni na kozi za wazi, modeli inaweza kutafsiri kwa uthabiti na kutoa tafsiri ya asili, hivyo kufaa kama zana ya “kusaidia uelewa”.
Mahojiano na maudhui ya vyombo vya habari yenye wazungumzaji wengi: Katika mahojiano, podikasti, filamu za hali halisi na mazungumzo mengine ya watu wengi, ukalimani wa wakati mmoja huiga sauti ya kila mzungumzaji, na kumwezesha msikilizaji kutambua anayezungumza.
Utalii na huduma za kila siku zinazohusisha wageni: Katika mawasiliano yenye hatari ndogo kwenye viwanja vya ndege, hoteli, maonyesho, mikahawa na vituo vingine vya huduma kwa wageni, huwasaidia wahudumu na watalii wa kigeni kufanya mawasiliano ya ana kwa ana yanayotosheleza.