Sophon-Realtime v1 Faoliyat yuritmoqda

Sophon-Realtime v1 — AI降临派 (Adventists AI) tomonidan ochiq kodli tarzda taqdim etilgan to‘liq dupleks ovozli model bo‘lib, u tinglash jarayonida suhbat navbatini aniqlaydi, istalgan vaqtda bo‘linishi mumkin, ohang, kulgi va xo‘rsinishni tushunadi hamda hissiyotli ovoz bilan javob beradi. Sophon-Realtime v1 32B parametrga asoslangan va VoiceBench ovozli baholashida 82.8 ball olib, ochiq kodli to‘liq dupleks modellar orasida birinchi o‘rinni egallagan. Sophon-Realtime v1 uchta versiyani taqdim etadi: Tag (ifodaviyligi yuqori), Flash (tezkor javob) va E2E (tadqiqot uchun oldindan ko‘rish). Uni bitta 80GB videokarta bilan joylashtirish mumkin; model Apache-2.0 litsenziyasiga ega va tijoriy maqsadlarda foydalanish mumkin.

To‘liq dupleks suhbat: gapirayotganda ham doimo tinglaydi, to‘xtashingiz bilan davom etadi va istalgan vaqtdagi aralashuvda darhol to‘xtab, yangi savolga javob beradi.
Ohangni tushunish: ikkilanish, urg‘u, kulgi, xo‘rsinish, kinoya kabi paralingvistik ma’lumotlarni taniydi, faqat so‘zma-so‘z mazmunni emas.
Ohang bilan gapirish: javob berayotganda ovozida tabiiy kulgi, xo‘rsinish, tomoq qirish va nafas olishni ifodalaydi, matnni shunchaki o‘qib bermaydi.
Multimodal tushunish: unga diagramma va skrinshotlarni ko‘rsatsangiz, ularni tushunib, og‘zaki sharhlay oladi.
Vositalarni chaqirish: ko‘p bosqichli vosita chaqiruvini qo‘llab-quvvatlaydi (Full-Duplex-Bench v3 Pass@1 48%), ya’ni amaliy vazifalarni bajara oladi.
Live rejimi: OpenAI GPT-Live protokoliga mos keladi va katta model backendlari bilan birgalikda ishlay oladi.
Tezkor joylashtirish: bitta buyruq va bitta 80GB videokarta bilan ishga tushadi; Flash versiyasida birinchi paket atigi 0.31 soniyada keladi.
Sozlash mumkin: ms-swift asosida LoRA yordamida persona, nutq uslubi, soha bilimlari va vositalarni chaqirish odatlarini nozik sozlash mumkin.

O‘rnatish muhiti: tizim Linux + CUDA + Python 3.12 ekanini tekshiring va pip install sophon-realtime buyrug‘ini bajaring.
Xizmatni ishga tushirish: sophon-realtime serve buyrug‘ini bajaring. Birinchi ishga tushirishda taxminan 42GB hajmdagi Tag og‘irliklari avtomatik yuklab olinadi, keyin xizmat 8000 portida tinglaydi.
API orqali chaqirish: model bilan ws://HOST:8000/v1/realtime (to‘liq dupleks) yoki POST /v1/chat/completions (ovoz kiradi, matn+ovoz chiqadi) orqali ishlashingiz mumkin.
Suhbatni sinash: python client_example.py --wav 我的问题.wav --lang zh --voice vivian_zh buyrug‘i yordamida ovoz yuboring va javobni tinglang.
Live rejimiga ulanish (ixtiyoriy): dvigatel yonida cd sophon-realtime/live && BUILD=tag PORT=8000 LIVE_PORT=8780 bash start_live.sh buyrug‘ini bajaring. Shundan so‘ng OpenAI GPT-Live protokoli orqali backend katta modelingizga ulanishingiz mumkin.
Nozik sozlash (ixtiyoriy): ms-swift yordamida 80GB videokartada LoRA usulida o‘qiting, jsonl formatidagi suhbat ma’lumotlarini tayyorlang (audio yoziladi, javobga [laughter] kabi teglar qo‘shiladi) va swift sft buyrug‘ini bajaring. Shu orqali personani va soha bilimlarini o‘zgartirish mumkin.

Ochiq kodli to‘liq dupleks modellar orasida birinchi: VoiceBench’da 82.8 ball olib, GPT-4o-mini-Audio bilan teng natija ko‘rsatadi va MiniCPM-o 4.5 (76.1) kabi boshqa ochiq kodli to‘liq dupleks modellardan ustun turadi.
Ovozli mantiqiy xulosa chiqarishda kuchli: 1,000 ta ovozli mantiqiy masaladan iborat Big Bench Audio testida 81.8% to‘g‘ri javob beradi; bu avvalgi eng yaxshi ochiq kodli model Raon SpeechChat (58%) natijasidan ancha yuqori.
Ohangni tushunadi: DuplexJev eshitish modeli LISTEN, StressTest va MSPB paralingvistik benchmarklarining umumiy reytingida birinchi o‘rinda (48.6), Gemini 3.8 Flash va Qwen3-Omni’dan yuqori.
Ohang bilan gapiradi: NVV-SuperBench’da Tag versiyasi xitoy tilida 0.86, ingliz tilida 0.80 natija ko‘rsatadi; kulgi, xo‘rsinish va tomoq qirish kabi ijrolar eng tabiiy.
Amaliy vazifalarni bajara oladi: Full-Duplex-Bench v3 vosita chaqiruvida Pass@1 48% ga yetadi, Grok (43%) dan yuqori; navbat kelganida 100% hollarda javob beradi.
Tez va yuqori yuklamaga chidamli: Flash versiyasida birinchi paket 0.31 soniyada keladi va bitta videokarta 40 ta parallel ulanishni qo‘llab-quvvatlaydi; Tag versiyasida bu ko‘rsatkichlar taxminan 0.6 soniya va 16 ta parallel ulanishni tashkil etadi.

GitHub ombori: https://github.com/adventists-ai/sophon-realtime

Intellektual mijozlarga xizmat ko‘rsatish: Flash versiyasida birinchi paket 0.31 soniyada keladi, bitta videokarta 40 ta parallel ulanishni qo‘llab-quvvatlaydi. U mijoz hissiyotlarini tushunib, biznes jarayonlarini bajarish uchun vositalarni bir necha bosqichda chaqira oladi, shu sababli yirik call-markazlar uchun mos.
AI hamrohlar va virtual personajlar: Tag versiyasi eng ifodaviy ohangga ega, kuladi va xo‘rsinadi; hissiy hamrohlar, virtual juftlar va o‘yin NPC’lari uchun mos.
Avtomobil ovozli yordamchisi: to‘liq dupleks rejim istalgan vaqtda aralashish va kechikishi past javob berishni ta’minlaydi, uyg‘otish so‘zini talab qilmaydi; ohangni tushunishi haydovchi holatini baholashga ham yordam beradi.
AI apparat qurilmalari: jamoa texnologiyasi 300 dan ortiq apparat mahsulotiga joriy etilgan. Apache-2.0 litsenziyasi tijoriy foydalanishga imkon beradi, shu bois u karnaylar, o‘yinchoqlar, robotlar va boshqa qurilmalarga integratsiya qilish uchun mos.
Korxona ovozli agentlari: Live rejimi GPT-Live protokoliga mos keladi. Sophon “tinglash va gapirish”ni bajaradi, ma’lumot qidirish va ishlarni bajarishni esa backend katta modeliga topshiradi; bu bank, davlat xizmatlari, aviatsiya va boshqa sohalar uchun maxsus xizmatlar yaratishga mos.