SeedRealtime – Muundo mkubwa wa sauti na video wa full-duplex wa ByteDance Inafanya kazi

SeedRealtime ni muundo mkubwa wa sauti na video wa full-duplex ulioundwa na timu ya Seed ya ByteDance, unaounganisha sauti, video na maandishi kiasili kupitia usanifu mmoja ili kuwezesha mwingiliano wa wakati halisi wa aina zote huku ukitazama, kusikiliza na kuzungumza. Muundo huu una mafanikio matatu makuu: uelewa wa pamoja wa sauti na video, mwingiliano wa hiari na mtiririko laini wa mazungumzo. Tathmini za mwisho-hadi-mwisho zinaonyesha kuwa matatizo ya mtiririko wa mazungumzo yamepungua kwa nusu ikilinganishwa na miundo iliyounganishwa. Kwa sasa umezinduliwa kikamilifu katika programu ya Doubao, na kuwa bidhaa ya kwanza ya AI ya sauti na video ya full-duplex kutekelezwa kwa kiwango kikubwa katika sekta hii.

Uelewa wa pamoja wa sauti na video: Huunganisha kwa kina sauti, picha na taarifa za mpangilio wa wakati kiasili. Inaweza kutumia muktadha wa kuona kutatua utata wa maneno yenye matamshi sawa, kuelewa kwa usahihi marejeleo ya mpangilio wa wakati, na kuunganisha uelewa wa kile kinachoonekana, kusikika na kusemwa.
Uwezo wa kuingiliana kwa hiari: Inaendelea kutambua mazingira na kujieleza kwa hiari. Inaweza kumkumbusha mtumiaji wakati hali ya picha inapobadilika na kutumia zana kusaidia mawasiliano, hivyo kubadilisha mwitikio wa kupokea tu kuwa ushirikiano wa hiari.
Mtiririko laini wa mwingiliano: Hutambua hali ya mazungumzo na mwendo wa mawasiliano ya mtumiaji kwa wakati halisi, na kuanza kuzungumza, kusitisha au kujibu kwa njia ya asili wakati unaofaa. Ina uwezo mkubwa wa kustahimili usumbufu, na inaweza kutofautisha mazungumzo ya watu waliopo karibu na kelele za mandharinyuma.
Utambuzi wa matukio yenye watu wengi: Katika mazingira yenye watu wengi na kelele, hutambua nyuso, kutofautisha vyanzo vya sauti na kuelewa maudhui kwa wakati mmoja, huku ikiendelea kuhusisha sauti ya kila mtu na utambulisho wake.

Uundaji wa pamoja wa mwisho-hadi-mwisho: Hutumia mfumo wa mwisho-hadi-mwisho wa uundaji wa pamoja wa sauti na video, unaojumuisha utambuzi, uelewa, ufanyaji wa maamuzi na uwasilishaji katika muundo mmoja unaofanya kazi kwa wakati mmoja. Hivyo huepuka upotevu wa taarifa na kuongezeka kwa ucheleweshaji wa hatua nyingi katika mfumo uliounganishwa wa ASR→VLM→TTS.
Mwingiliano wa asili wa full-duplex: Hautegemei kanuni za nje za VAD kuamua zamu za mazungumzo. Muundo wenyewe hutumia mtiririko wa taarifa za aina nyingi kuamua kwa kuendelea hali na muda wa mazungumzo, na hivyo kutekeleza kwa kweli “kuzungumza huku ukisikiliza” badala ya mfumo wa nusu-duplex wa swali na jibu.
Ulinganifu wa wakati wa sauti na video: Huunda kwa pamoja sauti, picha na taarifa za wakati, na hutumia muktadha wa sasa, ishara za mikono, mwelekeo wa macho na vitendo vya awali kuelewa nia ya mtumiaji, kutatua utata kati ya aina mbalimbali na kuchanganua marejeleo.
Uboreshaji wa ucheleweshaji mdogo wa kihandisi: Kwa kutumia ingizo la vipande vya sauti na video na uzalishaji wa mtiririko, pamoja na ujanibishaji bora na uboreshaji wa uelekezaji, huendelea kupunguza ucheleweshaji wa mwisho-hadi-mwisho wa “kusikia—kuelewa—kujibu”.

Sasisha programu ya Doubao: Sasisha programu ya Doubao hadi toleo jipya zaidi.
Anzisha mazungumzo ya sauti: Baada ya kufungua programu, bofya kitufe cha “Piga simu” katika kisanduku chochote cha mazungumzo.
Badili hadi hali ya video: Baada ya kuingia kwenye kiolesura cha simu, ruhusu matumizi ya kamera na maikrofoni, kisha badili hadi simu ya video.
Anza mwingiliano wa wakati halisi: Onyesha picha huku ukizungumza kwa kawaida; muundo utatambua mtiririko wa sauti na video na kujibu kwa wakati halisi.
Tumia uangalizi wa hiari: Unaweza kutoa amri ya kuendelea kutazama; muundo utakukumbusha kwa hiari wakati lengo linapoonekana au picha inapobadilika.

Usanifu wa pamoja wa mwisho-hadi-mwisho: Hutumia muundo mmoja unaounganisha sauti, video na maandishi kiasili, na kuondoa upotevu wa taarifa na kuongezeka kwa ucheleweshaji unaosababishwa na kuunganisha moduli nyingi katika mfumo uliounganishwa.
Mwingiliano wa asili wa full-duplex: Hautegemei kanuni za nje za VAD; muundo huamua kwa kujitegemea muda wa mazungumzo kwa kutumia mtiririko wa taarifa za aina nyingi, na kutekeleza kwa kweli “kuzungumza huku ukisikiliza” badala ya mfumo wa swali na jibu.
Uelewa wa pamoja wa sauti na video: Huunganisha kwa kina sauti, picha na taarifa za wakati, na inaweza kutumia muktadha wa kuona kutatua utata wa maneno yenye matamshi sawa na kuchanganua kwa usahihi marejeleo ya aina mbalimbali kama “hiki” na “pale”.
Utambuzi wa mazingira kwa hiari: Ina uwezo wa kuendelea kutazama picha, na inaweza kumkumbusha mtumiaji kwa hiari wakati hali ya picha inapobadilika au lengo linapoonekana, hivyo kubadilisha mwingiliano kutoka mwitikio wa kupokea tu kuwa ushirikiano wa hiari.
Mtiririko laini unaostahimili usumbufu: Hutambua hali ya mazungumzo ya mtumiaji kwa wakati halisi, na katika mazingira yenye kelele hutofautisha kwa usahihi mazungumzo ya kawaida na maswali rasmi. Kukwama na miitikio ya uongo kumepungua kwa nusu ikilinganishwa na muundo uliounganishwa.

Tovuti rasmi ya mradi: https://seed.bytedance.com/en/seedrealtime

Mwongoza watalii mahiri: Hutazama kwa kuendelea picha za vitu vya maonyesho katika makumbusho, na lengo linapoonekana hutoa kwa hiari maelezo kuhusu historia na undani wa utengenezaji.
Mazoezi ya lugha ya kigeni: Husahihisha matamshi kwa wakati halisi na kutoa mifano ya sentensi kwa kutumia picha, huku akimlenga daima mwanafunzi katika mazingira yenye kelele.
Mwongozo wa uendeshaji wa vifaa: Wakati wa kutumia kifaa changamano, hutambua mabadiliko ya hali ya kuona kwa wakati halisi, husahihisha makosa na kutoa mapendekezo ya marekebisho.
Msaidizi wa taarifa za safari: Katika mazingira yenye kelele ya uwanja wa ndege, hutambua taarifa za safari kwenye skrini kubwa, hujibu muda wa kuwasili na kutoa mwongozo wa njia.
Msaada wa elimu kwa watoto: Anapomsindikiza mtoto kujifunza, hutazama kwa wakati halisi maudhui ya picha na kusahihisha matamshi, bila kuathiriwa na sauti za watu waliopo nyuma.