ByteDance Seed bugun tabiiy multimodal muloqot sari yo‘l ochuvchi, audio-video to‘liq dupleksli katta model SeedRealtime’ni taqdim etganini e’lon qildi.
SeedRealtime yagona arxitektura asosida audio, video va matnni tabiiy ravishda birlashtiradi hamda uzluksiz multimodal axborot oqimida real vaqt rejimida muloqot qila oladi. Bu bir vaqtda ko‘rish, tinglash va gapirish imkonini beruvchi yangi tajribani taqdim etadi. Model quyidagi uchta asosiy yutuqqa erishdi:
Audio va videoni birgalikda tushunish: tovush, tasvir va vaqt ketma-ketligi haqidagi ma’lumotlarning chuqur integratsiyasini tabiiy ravishda qo‘llab-quvvatlaydi. Model vaziyatga tayangan holda bir xil talaffuz qilinadigan so‘zlardagi noaniqlikni bartaraf eta oladi, shuningdek, tasvirdagi vaqt ketma-ketligiga oid ishoralarni aniq tushunadi. Shu tariqa ko‘rilgan, eshitilgan va aytilgan narsalar yagona yaxlitlikka aylanadi.
Faol muloqot qobiliyati: atrof-muhitni uzluksiz anglash va faol fikr bildirish imkoniyatiga ega. Model tasvirdagi holat o‘zgarganini, masalan, muhim obyekt paydo bo‘lganini sezganda, faol ravishda ogohlantira oladi. Shuningdek, u vositalardan foydalanib, ularni o‘z ifodasiga qo‘sha oladi va muloqotni passiv javob berishdan faol hamkorlik darajasiga olib chiqadi.
Ravon muloqot ritmi: foydalanuvchining suhbat holati va muloqot sur’atini real vaqt rejimida anglab, mos paytda tabiiy ravishda suhbatga qo‘shila oladi, pauza qiladi va javob beradi. Shu bilan birga, u kuchli xalaqitlarga chidamlilik qobiliyatiga ega: atrofdagilarning kundalik suhbati va fon shovqinlarini farqlay oladi, xalaqit sababli noto‘g‘ri ishga tushmaydi hamda muloqotning ravon va izchil bo‘lishini ta’minlaydi.
To‘liq siklli inson baholash natijalariga ko‘ra, kaskadli modellarga nisbatan SeedRealtime’da audio-video suhbat ritmiga oid muammolar ikki baravar kamaygan. Model gapirish uchun to‘g‘ri vaqtni tabiiyroq tanlaydi: “gap tugamasidan bo‘lib yuborish, gap tugaganidan keyin kech javob berish yoki fon shovqini va kundalik suhbat sababli noto‘g‘ri ishga tushish” kabi uzilishlar sezilarli darajada kamaygan. Shu bilan birga, bir martalik suhbatni to‘liq va ravon olib borish ehtimoli ham ancha oshgan.
Hozirda SeedRealtime Doubao ilovasida barcha foydalanuvchilar uchun ishga tushirildi va sohada audio-video to‘liq dupleks texnologiyasini keng miqyosda joriy etgan ilk yechim bo‘ldi. Doubao ilovasini eng so‘nggi versiyaga yangilang, dialog oynasida “Qo‘ng‘iroq qilish”ni tanlang va videoqo‘ng‘iroq interfeysiga kirib, undan foydalanib ko‘ring.
Loyiha bosh sahifasi:
https://seed.bytedance.com/seedrealtime