ByteDance Seed imetangaza leo kuzindua SeedRealtime, modeli ya kiasili ya sauti na video yenye mawasiliano kamili ya pande mbili, ikielekea kwenye mwingiliano wa asili wa aina zote za taarifa.
SeedRealtime inaunganisha sauti, video na maandishi kiasili kupitia usanifu mmoja, na inaweza kuingiliana kwa wakati halisi kwenye mtiririko endelevu wa taarifa za aina nyingi, ikileta uzoefu mpya wa kutazama, kusikiliza na kuzungumza kwa wakati mmoja. Imetimiza mafanikio matatu yafuatayo ya msingi:
Uelewa wa pamoja wa sauti na video: Inasaidia kiasili kuunganisha kwa kina sauti, picha na taarifa za mfuatano wa wakati. Modeli inaweza kutumia muktadha wa tukio kutatua utata wa maneno yenye matamshi yanayofanana, na pia kuelewa kwa usahihi marejeo ya mfuatano wa wakati kwenye picha, hivyo kuunganisha kile kinachoonekana, kusikika na kusemwa.
Uwezo wa mwingiliano wa kuchukua hatua: Ina uwezo endelevu wa kutambua mazingira na kujieleza kwa hiari. Modeli inaweza kutoa arifa inapobaini mabadiliko katika hali ya picha, kama vile kuonekana kwa kitu muhimu, na inaweza pia kutumia zana katika mawasiliano, hivyo kubadilisha mwingiliano kutoka majibu ya kusubiri hadi ushirikiano wa kuchukua hatua.
Mdundo laini wa mwingiliano: Inaweza kutambua kwa wakati halisi hali ya mazungumzo na mdundo wa mawasiliano wa mtumiaji, kisha kuingilia mazungumzo, kusita na kujibu kwa njia ya asili wakati unaofaa. Pia ina uwezo mkubwa wa kustahimili usumbufu, ikiweza kutofautisha mazungumzo ya pembeni na kelele za nyuma, bila kuanzishwa kimakosa na usumbufu, na hivyo kudumisha mawasiliano yenye mtiririko na mwendelezo.
Matokeo ya tathmini ya binadamu kutoka mwanzo hadi mwisho yanaonyesha kuwa, ikilinganishwa na modeli za mnyororo, matatizo ya mdundo wa mazungumzo ya sauti na video ya SeedRealtime yamepungua kwa nusu. Modeli inatambua kwa asili zaidi wakati wa kuzungumza; hali za kukwama kama vile kukatizwa kabla ya kumaliza kusema, kuchelewa kujibu baada ya mtu kumaliza kuzungumza, au kuanzishwa kimakosa na kelele za nyuma na mazungumzo ya pembeni zimepungua sana. Wakati huohuo, uwezekano wa mazungumzo ya mara moja kufanyika kwa ukamilifu na kwa urahisi umeongezeka kwa kiasi kikubwa.
Kwa sasa, SeedRealtime imezinduliwa kikamilifu kwenye programu ya Doubao, na imekuwa ya kwanza katika sekta hiyo kutekeleza kwa kiwango kikubwa teknolojia ya mawasiliano kamili ya pande mbili ya sauti na video. Sasisha programu ya Doubao hadi toleo jipya zaidi, chagua “Piga simu” ndani ya kisanduku cha mazungumzo, kisha uingie kwenye kiolesura cha simu ya video ili kuijaribu.
Anwani ya ukurasa wa mradi:
https://seed.bytedance.com/seedrealtime