Step Audio 3 Faoliyat yuritmoqda

StepAudio 3 — Jieyue Xingchen tomonidan ishlab chiqilgan nutq uchun katta modellar seriyasi bo‘lib, Realtime, ASR, TTS, Gen va Music nomli beshta modelni o‘z ichiga oladi. Modellar orasida Realtime nutqiy xulosa chiqarish aniqligi bo‘yicha 99.7%, ASR esa so‘z xatolik darajasi bo‘yicha 1.7% natija qayd etib, Artificial Analysis reytingida dunyo bo‘yicha birinchi o‘rinni egallagan. StepAudio 3 inson nutqini tinglash va gapirishdan tashqari, hissiyot va ohangni tushunadi, murakkab xulosalar chiqaradi, inson ovozi hamda ovoz effektlarini birgalikda yaratadi va musiqiy ijod jarayonining barcha bosqichlarida ishtirok etadi. U real vaqt rejimidagi suhbat, subtitr transkripsiyasi, kino va seriallarga dublyaj, musiqa yaratish kabi ssenariylarni qamrab oladi.

Realtime real vaqt suhbatlari: asl to‘liq dupleks o‘zaro aloqani qo‘llab-quvvatlaydi, suhbatni tinglaydi, tushunadi, muloqot ritmini baholaydi va vazifalarni bajaradi.
ASR nutqni aniqlash: xitoy, ingliz tillari, shevalar hamda xitoycha-inglizcha aralash nutqni yuqori aniqlikda transkripsiya qiladi, professional atamalar va murakkab kontekstni tushunadi.
TTS nutq sintezi: inson darajasidagi ovoz yaratadi, ohang, hissiyot, pauza, kulgi, ikkilanish kabi paralingvistik tafsilotlarni tiklaydi.
Gen audio yaratish: inson ovozi, ovoz effektlari, atrof-muhit tovushlari va fon musiqasini bir martada yaratadi hamda har bir elementning vaqt bo‘yicha ketma-ketligini aniq boshqaradi.
Music musiqa yaratish: noldan yaratish, a cappella ijroga musiqa yaratish, qo‘shiqni qayta kuylash va ABC nota yozuvi asosida ko‘p bosqichli ijodiy hamkorlikni qo‘llab-quvvatlaydi.

Realtime: asl to‘liq dupleks arxitekturadan foydalanadi, tinglash va gapirish parallel amalga oshiriladi; model uzluksiz suhbat davomida audioni tushunish, xulosa chiqarish va nutq yaratishni bir vaqtda bajaradi, xulosa chiqarish va yaratishni parallel bajarish hamda Tool Call funksiyasini asinxron ishga tushirishni qo‘llab-quvvatlaydi.
ASR: yuqori aniqlikdagi nutqni aniqlashni katta til modeli bilan birlashtiradi. Katta modelning kontekstni tushunish, bilimlar zaxirasi va xulosa chiqarish qobiliyatidan foydalanib, omofonlar, inson ismlari, joy nomlari va professional atamalardagi xatolarni tuzatadi hamda “ovozni transkripsiya qilish”dan “kontekstni tushunish”gacha rivojlanadi.
TTS: oqimli yaratish arxitekturasi asosida ovozni yaratish va ijro etishni bir vaqtda amalga oshirib, real vaqt aloqasi uchun past kechikishni ta’minlaydi; shu bilan birga tembr, intonatsiya, ritm va nafas olish pauzalarini modellashtiradi hamda semantikaga asoslanib hissiyot va ohangni mustaqil moslashtiradi.
Gen: an’anaviy tarqoq dublyaj, ovoz effektlari va musiqa yaratish jarayonlarini yagona model bilan almashtiradi. Tabiiy til tavsifi va namunaviy audio asosida bir nechta ovoz qatlamini bir vaqtda yaratadi hamda dialog, ovoz effektlari va atrof-muhit tovushlarini vaqt bo‘yicha joylashtirish qobiliyati orqali ovoz dizaynida ishtirok etadi.
Music: noldan yaratish va shartli ijodni bir vaqtda qo‘llab-quvvatlaydi. A cappella ijro, qo‘shiq matni va kuy tarkibidagi musiqiy elementlarni tushunib, ABC nota yozuvi orqali tizimli boshqaruvni taqdim etadi, qo‘shiq bo‘limlari, kuy rivoji va energiya o‘zgarishlarini modellashtirib, yaxlit tuzilishga ega asar yaratadi.

Rasmiy saytga kiring: StepAudio 3 bosh sahifasiga tashrif buyuring https://static.stepfun.com/blog/stepaudio3/ va har bir model imkoniyatlari bilan tanishing.
Modelni tanlang: ehtiyojingizga qarab Realtime, ASR, TTS, Gen yoki Music modelini tanlang.
Tajriba markaziga kiring: Jieyue ovoz tajriba markaziga tashrif buyuring https://www.stepfun.com/studio/audio va modellarni onlayn sinab ko‘ring.
Ochiq platformada ro‘yxatdan o‘ting: Jieyue Xingchen ochiq platformasiga https://platform.stepfun.com/ kirib, akkaunt yarating va API Key oling.
API hujjatlarini ko‘rib chiqing: ochiq platformadagi tegishli modelning ulash bo‘yicha qo‘llanmasida so‘rov parametrlari va chaqiruv namunalarini ko‘ring.
Integratsiya qiling: hujjatlarga muvofiq APIʼni o‘z ilovangizga ulang va natija yaratish uchun matn, audio yoki tabiiy til tavsifini yuboring.
Sozlang va optimallashtiring: natijaga qarab tembr, hissiyot, nutq tezligi, tuzilma kabi parametrlarni ehtiyojingizga moslang.

Reytingdagi yuqori natijalar: Realtime nutqiy xulosa chiqarish aniqligi (99.7%) va ASR so‘z xatolik darajasi (1.7%) Artificial Analysis reytingida dunyo bo‘yicha birinchi o‘rinni egallagan, bu natijalar uchinchi tomon tomonidan tasdiqlangan.
Insonnikiga o‘xshash muloqot: ohang, hissiyot va suhbat ritmini sezadi, qachon gapga qo‘shilish, qachon kutish va suhbat bo‘linishiga qanday javob berishni biladi.
Suhbat davomida vazifalarni bajaradi: xulosa chiqarish, vositalardan foydalanish va uzoq davom etadigan vazifalar fonda asinxron bajarilishi mumkin. Bu joriy suhbatni to‘xtatmaydi va ovozli yordamchini oddiy chat vositasidan amaliy yordamchiga aylantiradi.
Bitta model butun audio jarayonini bajaradi: dublyaj, ovoz effektlari, atrof-muhit tovushlari va musiqa avval bir nechta vosita orqali alohida bajarilgan bo‘lsa, endi bir martada to‘liq ovoz qatlamlari bilan yaratiladi hamda turli tovushlarning paydo bo‘lish vaqti va tartibini aniq belgilash mumkin.
Ijodiy boshqaruv foydalanuvchiga qaytariladi: a cappella ijro, qo‘shiq matni, kuy, ABC nota yozuvi kabi turli kiritish usullari qo‘llab-quvvatlanadi, AI esa asarni davom ettirish va takomillashtirishga yordam beradi.

Mahsulot bilan tanishing: StepAudio 3 rasmiy bosh sahifasiga tashrif buyuring https://static.stepfun.com/blog/stepaudio3/ va Realtime, ASR, TTS, Gen hamda Music modellarining imkoniyatlarini o‘rganing.
Onlayn sinab ko‘ring: Jieyue ovoz tajriba markaziga kirib, matn kiriting yoki audio yuklang va har bir model natijasini bepul sinab ko‘ring.
Platformada ro‘yxatdan o‘ting: Jieyue Xingchen ochiq platformasida akkaunt yarating, ilova oching va API Key oling.
Hujjatlarni ko‘rib chiqing: tegishli modelning ulash bo‘yicha qo‘llanmasini ochib, API manzili, so‘rov parametrlari va narxlash tartibi bilan tanishing.
So‘rov yuboring: API orqali matn, audio fayl yoki tabiiy til tavsifini yuborib, nutq sintezi, aniqlash yoki yaratish natijasini oling.
Parametrlarni optimallashtiring: natijaga qarab tembr, hissiyot, nutq tezligi, til va ovozlarni joylashtirish kabi parametrlarni sozlang.
Integratsiya qiling va ishga tushiring: APIʼni o‘z mahsulotingiz yoki ish jarayoningizga qo‘shing, joylashtirishni yakunlang va natijani muntazam kuzatib boring.

Loyiha rasmiy sayti: https://static.stepfun.com/blog/stepaudio3/

Intellektual mijozlarga xizmat ko‘rsatish va ovozli yordamchi: to‘liq dupleks rejimidagi real vaqt suhbatlari foydalanuvchi hissiyotlarini sezadi va vazifalarni asinxron bajaradi, mijozlar bilan muloqotni tabiiyroq va samaraliroq qiladi.
Yig‘ilish bayonnomasi va subtitr yaratish: ASR uzoq audiolar va bir nechta ishtirokchi suhbatlarini aniq transkripsiya qiladi, professional atamalarni avtomatik taniydi hamda yig‘ilish bayonnomasi yoki video subtitrlarini bevosita yaratadi.
Avtomobildagi ovozli aloqa: shovqinli muhit, sheva va aksentlar hamda xitoycha-inglizcha aralash nutqni qo‘llab-quvvatlaydi, past kechikish bilan javob beradi va haydash paytidagi ovozli boshqaruv tajribasini yaxshilaydi.
Kino, serial va audio kontent ishlab chiqarish: radio spektakl, audiokitob va animatsiya dublyajida inson ovozi, ovoz effektlari, atrof-muhit tovushlari va musiqani bir martada yaratadi, bir nechta vosita bilan hamkorlik qilish va keyingi miks jarayonini qisqartiradi.
Musiqa yaratish va qayta kuylash: a cappella ijroni taqdim etish orqali avtomatik aranjirovka va orkestratsiyani amalga oshiradi yoki qo‘shiq matni va kuy asosida to‘liq qo‘shiqni davom ettiradi, musiqachilarga Demo va tayyor asarni tez yaratishda yordam beradi.