SeedRealtime – ByteDance tomonidan taqdim etilgan native audio-video to‘liq dupleks katta model Faoliyat yuritmoqda

SeedRealtime — ByteDance’ning Seed jamoasi tomonidan ishlab chiqilgan native audio-video to‘liq dupleks katta model bo‘lib, yagona arxitektura asosida audio, video va matnni native tarzda birlashtiradi hamda ko‘rish, tinglash va gapirishni bir vaqtda amalga oshiradigan to‘liq modal real vaqt interaksiyasini ta’minlaydi. Model audio-video ma’lumotlarini birgalikda tushunish, faol muloqot va ravon suhbat sur’ati bo‘yicha uchta asosiy yutuqqa ega. End-to-end baholash natijalariga ko‘ra, kaskadli modellarga nisbatan suhbat sur’ati bilan bog‘liq muammolar ikki baravarga kamaygan. Hozirda u Doubao ilovasida to‘liq ishga tushirilgan va sanoatda keng miqyosda joriy etilgan ilk audio-video to‘liq dupleks AI mahsulotiga aylangan.

Audio-video ma’lumotlarini birgalikda tushunish: Ovoz, tasvir va vaqt ketma-ketligi haqidagi ma’lumotlarni native tarzda chuqur birlashtiradi. Vizual sahna yordamida bir xil talaffuz qilinadigan so‘zlar noaniqligini bartaraf etadi, vaqt bo‘yicha ishoralarni aniq tushunadi va ko‘rilayotgan, eshitilayotgan hamda aytilayotgan ma’lumotlarni yagona idrokka birlashtiradi.
Faol muloqot qobiliyati: Muhitni uzluksiz anglash va faol fikr bildirish imkoniyatiga ega. Kadrdagi holat o‘zgarganda foydalanuvchini faol ravishda ogohlantiradi, vositalarni chaqirib, ularni javobiga uyg‘unlashtiradi va passiv javob berishni faol hamkorlikka aylantiradi.
Ravon interaksiya sur’ati: Foydalanuvchining suhbat holati va muloqot sur’atini real vaqt rejimida sezadi, mos paytda tabiiy tarzda suhbatga qo‘shiladi, pauza qiladi va javob beradi. Kuchli xalaqitga chidamlilikka ega bo‘lib, atrofdagilarning suhbati bilan fon shovqinini farqlay oladi.
Ko‘p kishilik sahnalarni aniqlash: Ko‘p kishilik va shovqinli muhitda yuzlarni bir vaqtda taniydi, tovush manbalarini farqlaydi, mazmunni tushunadi hamda har bir insonning ovozini uning shaxsi bilan uzluksiz bog‘laydi.

End-to-end yagona modellashtirish: Sezish, tushunish, qaror qabul qilish va javobni ifodalash jarayonlarini bitta modelda bir vaqtda amalga oshiradigan end-to-end yagona audio-video modellashtirish tizimidan foydalanadi. Shu orqali kaskadli tizimlardagi ASR→VLM→TTS kabi ko‘p bosqichli jarayonlarda yuzaga keladigan axborot yo‘qotilishi va kechikishlar yig‘ilishini bartaraf etadi.
Native to‘liq dupleks interaksiya: Suhbat navbatlarini aniqlash uchun tashqi VAD qoidalariga tayanmaydi. Modelning o‘zi multimodal axborot oqimi asosida suhbat holati va mos vaqtni uzluksiz belgilaydi hamda navbatma-navbat savol-javob qilinadigan yarim dupleks rejim o‘rniga haqiqiy “gapirayotib tinglash” imkonini beradi.
Audio-video vaqt bo‘yicha moslashtirish: Ovoz, tasvir va vaqt ketma-ketligi haqidagi ma’lumotlarni yagona tarzda modellashtiradi. Joriy sahna, imo-ishoralar, nigoh va avvalgi harakatlarni birgalikda tahlil qilib, foydalanuvchi niyatini tushunadi, multimodal noaniqliklarni bartaraf etadi va ishoralarni sharhlaydi.
Muhandislik darajasida past kechikishni optimallashtirish: Audio-video ma’lumotlarini bo‘laklab kiritish va oqimli generatsiya, shuningdek samarali kvantlash hamda inferens optimallashtirish orqali “eshitish — tushunish — javob berish” jarayonining end-to-end kechikishini izchil qisqartiradi.

Doubao ilovasini yangilang: Doubao ilovasini eng so‘nggi versiyaga yangilang.
Ovozli qo‘ng‘iroqqa kiring: Ilovani ochgach, istalgan suhbat oynasida “Qo‘ng‘iroq qilish” tugmasini bosing.
Video rejimiga o‘ting: Qo‘ng‘iroq interfeysiga kirgach, kamera va mikrofon uchun ruxsatlarni yoqing hamda video qo‘ng‘iroq rejimiga o‘ting.
Real vaqt interaksiyasini boshlang: Tasvirni namoyish etgan holda tabiiy tarzda gapiring; model audio-video oqimini bir vaqtda sezib, real vaqt rejimida javob beradi.
Faol kuzatuvdan foydalaning: Uzluksiz kuzatuv buyrug‘ini berishingiz mumkin. Model nishon paydo bo‘lganda yoki kadrdagi holat o‘zgarganda faol ravishda ogohlantiradi.

End-to-end yagona arxitektura: Audio, video va matnni native tarzda birlashtiradigan yagona modeldan foydalanadi va kaskadli tizimlarda bir nechta modullarning ketma-ket ulanishi sababli yuzaga keladigan axborot yo‘qotilishi hamda kechikishlar yig‘ilishini bartaraf etadi.
Native to‘liq dupleks interaksiya: Tashqi VAD qoidalariga tayanmaydi. Model multimodal axborot oqimi asosida suhbat vaqtini mustaqil ravishda uzluksiz belgilaydi va navbatma-navbat savol-javob qilinadigan rejim o‘rniga haqiqiy “gapirayotib tinglash” imkonini beradi.
Audio-video ma’lumotlarini birgalikda tushunish: Ovoz, tasvir va vaqt ketma-ketligi haqidagi ma’lumotlarni chuqur birlashtiradi. Vizual sahna yordamida bir xil talaffuz qilinadigan so‘zlar noaniqligini bartaraf etadi hamda “bu”, “u yer” kabi multimodal ishoralarni aniq sharhlaydi.
Faol muhitni anglash: Uzluksiz vizual kuzatuv imkoniyatiga ega. Kadrdagi holat o‘zgarganda yoki nishon paydo bo‘lganda faol ravishda ogohlantirib, interaksiyani passiv javob berishdan faol hamkorlikka aylantiradi.
Ravon va xalaqitga chidamli interaksiya: Foydalanuvchining suhbat holatini real vaqt rejimida sezadi, shovqinli muhitda norasmiy suhbat bilan rasmiy savolni aniq farqlaydi. Kaskadli modellarga nisbatan qotib qolish va noto‘g‘ri ishga tushish holatlari ikki baravarga kamaygan.

Loyiha rasmiy sayti: https://seed.bytedance.com/en/seedrealtime

Aqlli gid: Muzeyda eksponatlar tasvirini uzluksiz kuzatadi va nishon paydo bo‘lganda tarixiy ma’lumotlar hamda ishlab chiqarish tafsilotlarini faol tarzda tushuntiradi.
Chet tilini mashq qilish: Tasvir asosida talaffuzni real vaqt rejimida tuzatadi, misollar keltiradi va gaplar tuzadi; shovqinli muhitda ham asosiy o‘rganuvchiga e’tiborini saqlaydi.
Qurilmalardan foydalanish bo‘yicha yo‘riqnoma: Murakkab qurilmalarni boshqarishda vizual holatdagi o‘zgarishlar asosida xatolarni real vaqt rejimida tuzatadi va sozlash bo‘yicha tavsiyalar beradi.
Safar ma’lumotlari yordamchisi: Aeroportdagi shovqinli muhitda katta ekrandagi parvoz ma’lumotlarini taniydi, yetib borish vaqtiga javob beradi va yo‘nalish bo‘yicha ko‘rsatma beradi.
Bolalar ta’limi yordamchisi: Bola bilan dars qilayotganda tasvirdagi mazmunni real vaqt rejimida kuzatib, talaffuzni tuzatadi va atrofdagi odamlarning ovozlaridan chalg‘imaydi.