Eleven Realtime Inafanya kazi

Eleven Realtime ni mfululizo wa miundo ya mawakala wa sauti iliyounganishwa kutoka ElevenLabs, ukiwa na matoleo mawili: v1 Mini na v1 Max. Eleven Realtime huunganisha utambuzi wa sauti, uelekezaji wa modeli ya lugha, matumizi ya zana na usanisi wa sauti kuwa modeli moja, badala ya usanidi wa kawaida wa vipengele vingi vilivyounganishwa kwa mfuatano. Inaauni zaidi ya lugha 90 na zaidi ya sauti 17,000. Mini inalenga mazungumzo ya asili kwa gharama ndogo, huku Max ikiwa kwa kazi changamano; usahihi wa uelekezaji wa sauti hufikia 98.8%, ucheleweshaji wa sauti ya kwanza ni sekunde 0.57 tu, na API yake inaendana na kiwango cha OpenAI Realtime, hivyo kurahisisha uhamishaji kwa wasanidi.

Mwingiliano wa sauti uliounganishwa: Huunganisha utambuzi wa sauti, uelekezaji wa LLM, matumizi ya zana na usanisi wa sauti kuwa modeli moja, bila kuhitaji kujenga kando mfululizo wa teknolojia za ASR, VAD, LLM na TTS.
Usaidizi wa lugha nyingi: Inaunga mkono zaidi ya lugha 90, hivyo inafaa kwa programu za sauti zinazolenga watumiaji duniani kote.
Chaguo kubwa la sauti: Inaendana na zaidi ya sauti 17,000 katika maktaba ya sauti ya ElevenLabs, na kuruhusu kubadilisha sauti kwa uhuru.
Chaguo rahisi kati ya matoleo mawili: v1 Mini inafaa kwa mazungumzo ya asili yenye gharama ndogo, huku v1 Max ikiwa kwa kazi changamano.
Majibu yenye ucheleweshaji mdogo: Ucheleweshaji wa wastani wa sauti ya kwanza ni sekunde 0.57–0.62 tu; Max ni ya haraka zaidi huku ikidumisha usahihi wa uelekezaji wa sauti wa 98.8%.
Uzoefu wa mazungumzo ya asili: Imeboreshwa kwa ajili ya mapumziko ya sauti, kubadilishana zamu ya kuzungumza na kushughulikia kukatizwa. Alama yake katika Full-Duplex-Bench inazidi 94%.
Uwezo wa kutumia zana: Kiwango cha kukamilisha kazi za matumizi ya zana kwa v1 Max ni 87.1%, na inaweza kuunganishwa na mifumo ya nje kutekeleza shughuli za hatua nyingi.
Uoanishaji na OpenAI API: Inafuata kiwango cha OpenAI Realtime API; wasanidi walio na muunganisho uliopo wanaweza kuhamisha mfumo haraka kwa kubadilisha endpoint na jina la modeli pekee.

Usanifu wa mwisho hadi mwisho wa Speech-to-Speech: Eleven Realtime hutumia modeli ya mwisho hadi mwisho ya sauti hadi sauti. Sauti ya mtumiaji huingia moja kwa moja kwenye modeli, ambayo hufanya uelewa, uelekezaji na kufanya maamuzi ndani yake, kisha kutoa jibu la sauti moja kwa moja. Hakuna hatua ya wazi ya kubadilisha sauti kuwa maandishi katikati, hivyo kupunguza ucheleweshaji wa uhamishaji na upotevu wa taarifa kati ya vipengele.
Uelekezaji na matumizi ya zana hufanyika ndani ya modeli moja: Modeli yenyewe hutekeleza majukumu ya uelekezaji wa modeli ya lugha, ikiwemo kuelewa nia ya mtumiaji, kufanya uelekezaji wa mazungumzo ya raundi nyingi, kuamua wakati wa kuita zana za nje na kuendelea kutoa jibu la sauti kulingana na matokeo ya zana. v1 Max iliundwa kuimarisha mnyororo huu; kiwango chake cha kukamilisha kazi za matumizi ya zana ni 87.1%, juu zaidi ya 60.3% ya Mini.
Mbinu za ndani za mienendo ya mazungumzo: Modeli hushughulikia moja kwa moja “maamuzi madogo” ya mwingiliano wa sauti, kama kuamua ni muda gani wa kusubiri baada ya mtumiaji kunyamaza kabla ya kujibu, jinsi ya kusitisha na kuendelea kwa ustaarabu inapokatizwa, na wakati wa kutoa ishara za majibu kama “mm” au “ndiyo”. Hili limethibitishwa na viwango kama Full-Duplex-Bench, na kufanya mdundo wa mazungumzo ukaribie wa binadamu halisi.
Uelekezaji wa mtiririko kwa ucheleweshaji mdogo: Modeli hufanya kazi kwa mtiririko, ikielewa na kuzalisha kwa wakati mmoja, bila kusubiri ingizo kamili au mpango wa matokeo yote ukamilike. Kwa hiyo, ucheleweshaji wa sauti ya kwanza hudhibitiwa kuwa milisekunde 570–620. Hii inaeleza kwa nini Max hujibu haraka zaidi licha ya kuwa na usahihi wa juu zaidi.
Uwezo hutolewa kupitia Realtime API ya WebSocket: Kwa upande wa nje, muunganisho wa WebSocket wa kudumu hutoa uhamishaji wa sauti wa wakati halisi katika pande mbili. Itifaki inaendana na kiwango cha OpenAI Realtime API, hivyo wasanidi wanaweza kutumia OpenAI SDK kuunganisha. Jukwaa la juu la ElevenAgents huongeza njia kama simu, Web na WhatsApp, pamoja na vipengele vya biashara kama hifadhidata ya maarifa, vidhibiti vya usalama na ufuatiliaji.

Njia ya kwanza: Kupitia ElevenAgents (inapendekezwa, bila msimbo) Usajili na kuingia: Fungua akaunti kwenye tovuti rasmi ya ElevenLabs na uingie.
Unda Agent: Fungua ElevenAgents, unda Agent mpya au fungua iliyopo.
Chagua modeli: Chagua Realtime v1 Mini au v1 Max kwenye menyu kunjuzi.
Sanidi uwezo: Sanidi hifadhidata ya maarifa, mtiririko wa kazi, vidhibiti vya usalama na vipengele vingine kulingana na mahitaji.
Chapisha na uanze: Unganisha njia kama simu, Web au WhatsApp; jukwaa lina majaribio na ufuatiliaji uliojengewa ndani, kisha liendeshe.
Njia ya pili: Kupitia Realtime API (kwa wasanidi) Andaa ufunguo: Pata API Key kwenye dashibodi ya ElevenLabs kwa ajili ya uthibitishaji.
Tumia tena msimbo uliopo: Ikiwa tayari umeunganisha OpenAI Realtime API, badilisha anwani ya WebSocket kuwa wss://api.elevenlabs.io/v1/convai/realtime na ubadilishe jina la modeli.
指定模型与声音：例如设置 eleven_realtime_v1_mini 并选择 brian 等音色。
建立 WebSocket 连接：通过 OpenAI SDK 的 RealtimeAgent + WebSocket transport 建立双向音频流。
开始对话：连接成功后可进行实时语音交互；如需渠道、知识库等平台能力，需改用 ElevenAgents。

Usanifu uliounganishwa: Huunganisha utambuzi wa sauti, uelekezaji, matumizi ya zana na usanisi kuwa modeli moja, na kuondoa gharama za kuchagua na kuunganisha vipengele vingi.
Kuvunja uwiano kati ya kasi na usahihi: v1 Max hufikia usahihi wa 98.8% wa uelekezaji wa sauti kwa ucheleweshaji wa sauti ya kwanza wa sekunde 0.57, hivyo ikichanganya usahihi wa juu na ucheleweshaji mdogo.
Uzoefu wa mazungumzo ya asili: Alama ya Full-Duplex-Bench inazidi 94%; mapumziko, kuendelea baada ya kukatizwa na kubadilishana zamu ya kuzungumza hukaribia kiwango cha binadamu.
Uwezo mkubwa wa kazi changamano: Kiwango cha kukamilisha kazi za matumizi ya zana kwa v1 Max ni 87.1%, na inaweza kutekeleza mtiririko wa kazi wa hatua nyingi, hivyo inafaa kwa mazingira ya biashara.
Wigo mpana wa lugha na sauti: Inaunga mkono zaidi ya lugha 90 na zaidi ya sauti 17,000, na mfumo mmoja unaweza kuhudumia watumiaji duniani kote.
Uhamishaji rahisi: API inaendana na kiwango cha OpenAI Realtime; wasanidi walio na muunganisho uliopo wanaweza kubadilisha kwa mistari miwili ya msimbo pekee.
Chaguo rahisi kati ya matoleo mawili: Mini yenye gharama ndogo hushughulikia mazungumzo mengi ya kila siku, huku Max ikilenga uelekezaji changamano, hivyo gharama inaweza kudhibitiwa kulingana na mahitaji.
Tayari kwa matumizi ya uzalishaji: Kupitia ElevenAgents unaweza kupata moja kwa moja uwezo kamili wa usambazaji, ikiwemo uunganishaji wa njia, hifadhidata ya maarifa, vidhibiti vya usalama, majaribio na ufuatiliaji.

Tovuti rasmi ya mradi: https://elevenlabs.io/blog/realtime

Msaidizi wa sauti wa AI: Msaidizi wa kibinafsi wa mazungumzo ya kila siku anayeelewa maagizo na kujibu papo hapo kwa sauti ya asili; toleo la Mini linaweza kutimiza hili kwa gharama ndogo.
Elimu mtandaoni / kujifunza lugha: Kwa mfano, programu ya kujifunza Kiingereza kwa watoto, ambapo mhusika anahitaji kuelewa mazungumzo ya mwanafunzi, kusahihisha kwa wakati na kuwasiliana kwa sauti ya asili; hali hii inahitaji sauti ya asili na majibu ya haraka.
Huduma kwa wateja kwa simu za biashara: Kushughulikia maombi ya hatua nyingi kama “kuangalia oda na kubadilisha anwani” yanayohitaji kuita mifumo ya biashara; kiwango cha juu cha kukamilisha matumizi ya zana cha Max kinafaa kwa hali hii.
Uchujaji wa miongozo ya mauzo: Kupiga au kupokea simu kiotomatiki kutoka kwa wateja watarajiwa, kutathmini nia kupitia mazungumzo, kukusanya taarifa na kurekodi; Max inaweza kufanya uelekezaji na kutekeleza mchakato huu.
Wahusika pepe / NPC za michezo: Kuwapa wahusika wa mwingiliano uwezo wa mazungumzo ya sauti ya wakati halisi. Kwa usaidizi wa zaidi ya lugha 90 na sauti nyingi, inafaa kwa maudhui ya kimataifa na uzoefu wa kuzama.