IndexTTS-2.5 Faoliyat yuritmoqda

IndexTTS-2.5 — Bilibili tomonidan ochiq kodli tarzda taqdim etilgan, sanoat darajasidagi nol namunali ovoz klonlash modeli bo‘lib, atigi 0.8B parametrga ega va xitoy, ingliz, yapon, ispan hamda arab tillari o‘rtasida tillararo ko‘chirishni qo‘llab-quvvatlaydi. Model inferens arxitekturasini qayta tuzgan, inferens tezligini 2.28 baravar oshirgan, 0.5x dan 2.0x gacha nutq tezligini sozlash hamda talaffuz va hissiyotlarni nozik boshqarish imkonini beradi. To‘liq kod, model og‘irliklari va maqola e’lon qilingan bo‘lib, Bilibili Model License litsenziyasidan foydalanadi.

Nol namunali ovoz klonlash: atigi 3–10 soniyalik namunaviy audio orqali istalgan so‘zlovchining ovoz xususiyatlarini aniq takrorlash mumkin; maqsadli so‘zlovchi uchun qo‘shimcha trening talab etilmaydi.
Besh tilli tillararo qo‘llab-quvvatlash: xitoy, ingliz, yapon, ispan va arab tillarini qo‘llab-quvvatlaydi.
Hissiyotlarni nozik boshqarish: hissiyotlarni sozlashning bir nechta usuli mavjud: mustaqil hissiy namunaviy audio orqali kayfiyatni uzatish, sakkiz o‘lchovli hissiyot vektori yordamida hissiyot intensivligini aniq belgilash, matn asosida hissiyotlarni avtomatik aniqlashni yoqish hamda emo_alpha parametri orqali hissiyot darajasini sozlash.
Ovoz tembri va hissiyotlarni ajratish: ovoz tembri uchun prompt audio va hissiyot uchun prompt audio butunlay mustaqil belgilanadi. Foydalanuvchi “kim gapiryapti” va “qanday gapiryapti”ni alohida boshqara oladi.
Nutq tezligini uzluksiz sozlash: duration_factor parametri orqali sintez tezligini 0.5 dan 2.0 baravargacha istalgan qiymatda sozlash, turli holatlar uchun kerakli ritmni ta’minlash mumkin.
Talaffuzni aniq boshqarish: xitoycha pinyin, inglizcha CMU fonemalari va yaponcha kana kabi uch xil darajadagi talaffuz boshqaruvini qo‘llab-quvvatlaydi; ko‘p talaffuzli ierogliflar, noodatiy o‘qiladigan so‘zlar va kontekstga bog‘liq talaffuz muammolarini samarali hal qiladi.

WeChat’da kuzatib boring va “开源” deb javob yuborib, AI ochiq kodli loyihalar guruhiga qo‘shiling
Uch bosqichli generatsiya quvuri: model “matn → semantik Token → mel-spektrogramma → to‘lqin shakli” uch bosqichli arxitekturadan foydalanadi. Transformer asosidagi matndan semantikaga (T2S) til modeli semantik Tokenlarni yaratadi, so‘ngra autoregressiv bo‘lmagan semantikadan mel-spektrogrammaga (S2M) oqim moslashtirish moduli mel-spektrogrammani hosil qiladi, yakunda neyron vokoder uni tayyor audioga tiklaydi.
Semantik kodekni siqish: semantik Tokenlar kadrlar chastotasini 50Hz dan 25Hz gacha siqib, ketma-ketlik uzunligini to‘g‘ridan-to‘g‘ri ikki baravar qisqartiradi. Bu T2S modulining trening va inferens paytidagi hisoblash yuklamasi hamda xotira sarfini sezilarli kamaytirib, inferens tezlashuvining asosiy omillaridan biriga aylanadi.
Zipformer arxitekturasini yangilash: S2M modulining tayanch tarmog‘i U-DiT o‘rniga samaraliroq Zipformer arxitekturasi bilan almashtirilgan. Zipformer kamroq parametr bilan uzoq muddatli bog‘liqliklarni kuchliroq modellashtiradi, mel-spektrogramma generatsiyasini tezroq va barqarorroq qiladi hamda sintez sifatini saqlab qoladi.
Tillararo modellashtirish strategiyasi: ko‘p tilli muhitda belgilar ustma-ust kelishi sababli yuzaga keladigan chalkashliklarni hal qilish uchun jamoa uchta strategiyani taklif qilgan: chegarani hisobga olgan tekislash (matn boshiga va oxiriga kabi til belgilarini qo‘shish), Token darajasida birlashtirish (har bir kirish Tokeniga tilga xos embeddingni qo‘shish) hamda ko‘rsatma asosida generatsiya (matn boshiga “iltimos, ingliz tilida o‘qing” kabi tabiiy til ko‘rsatmasi prefiksini qo‘shish).
GRPO orqali mustahkamlovchi o‘qitish optimizatsiyasi: T2S modulining post-trening bosqichida GRPO (Group Relative Policy Optimization) joriy etiladi. ASR modelining so‘z xatolari darajasi (WER) mukofot signali sifatida muzlatiladi, har safar to‘rtta nomzod namuna yaratiladi va yuqori mukofotli namunalarning nisbiy ehtimolligini optimallashtirish orqali talaffuz aniqligi hamda nutq tabiiyligi izchil yaxshilanadi.

Muhitni tayyorlash: avval Git va uv paket menejerini o‘rnating, so‘ng git clone https://github.com/index-tts/index-tts.git buyrug‘i orqali rasmiy kod repozitoriyasini mahalliy kompyuterga yuklab oling.
Bog‘liqliklarni o‘rnatish: loyiha katalogiga kirgach, virtual muhitni avtomatik yaratish va barcha zarur Python bog‘liqliklarini o‘rnatish uchun uv sync --all-extras buyrug‘ini bajaring.
Modelni yuklab olish: huggingface-cli yoki modelscope vositalari orqali rasmiy IndexTeam/IndexTTS-2.5 repozitoriyasidan model og‘irliklarini mahalliy checkpoints katalogiga yuklab oling.
Web interfeysini ishga tushirish: Gradio interaktiv interfeysini ishga tushirish uchun uv run webui.py buyrug‘ini bajaring, so‘ng brauzerda http://127.0.0.1:7860 manziliga kirib, vizual ovoz sintezini amalga oshiring.
Modelni yuklash: Python skriptida indextts.infer_v2_5 modulidan IndexTTS2 sinfini import qiling va model nusxasini yaratish uchun konfiguratsiya fayli yo‘li hamda model katalogini uzating.
Asosiy ovoz klonlash: nusxaning infer metodini chaqirib, namunaviy audio yo‘li, maqsadli matn va til kodini uzating; natijada klonlangan ovoz tembriga ega audio fayl yaratiladi va saqlanadi.
Hissiyotlarni boshqarish: infer metodiga qo‘shimcha ravishda hissiy namunaviy audioni belgilash uchun emo_audio_prompt parametrini uzating yoki sintez qilingan nutq hissiyotlarini boshqarish uchun emo_vector orqali sakkiz o‘lchovli hissiyot vektorini kiriting.
Nutq tezligini sozlash: inferens vaqtida duration_factor parametrini 0.5 dan 2.0 gacha bo‘lgan qiymatga o‘rnating, shunda sintez qilingan nutq tezligini mutanosib ravishda tezlashtirish yoki sekinlashtirish mumkin.
Talaffuzni boshqarish: ko‘p talaffuzli ierogliflar yoki noodatiy o‘qiladigan so‘zlarning talaffuzini aniq boshqarish uchun kirish matniga <行|XING2>, yoki <上手|じょうず> kabi belgilarni qo‘shing.

Kichik parametrlar, yuqori samaradorlik: model atigi 0.8B parametrga ega. Semantik kodekni siqish va Zipformer arxitekturasini yangilash orqali inferens 2.28 baravar tezlashadi, BF16 aniqligida real vaqt koeffitsienti (RTF) 0.20 gacha tushadi; bu ixchamlik va yuqori unumdorlikni birlashtiradi.
Besh tilda tillararo ko‘chirish: xitoy, ingliz, yapon, ispan va arab tillarini qo‘llab-quvvatlaydi. Foydalanuvchi bir tildagi namunaviy audio yordamida boshqa tildagi nutqni klonlashi mumkin; maqsadli til uchun hissiy trening ma’lumotlarisiz ham hissiyotlarni tillararo ko‘chirish amalga oshiriladi.
Ko‘p o‘lchovli nozik boshqaruv: model 0.5x dan 2.0x gacha uzluksiz tezlik sozlamasi, sakkiz o‘lchovli hissiyot vektori boshqaruvi, matn asosida hissiyotlarni aniqlash hamda pinyin, CMU fonemalari va yapon kana belgilaridagi talaffuz boshqaruvini qo‘llab-quvvatlaydi. Bu kontent yaratishda ovoz sintezini nozik sozlash ehtiyojlarini qondiradi.
Ovoz tembri va hissiyotlarni to‘liq ajratish: foydalanuvchi ovoz tembri prompt audiosi va hissiyot prompt audiosini mustaqil belgilashi mumkin; ular hatto turli tillardan bo‘lishi ham mumkin. Shu tariqa maqsadli so‘zlovchining ovoz tembri saqlangan holda kerakli hissiy uslub moslashuvchan tarzda qo‘shiladi.
Arab tilini ochiq kodli qo‘llab-quvvatlash: asosiy ochiq kodli TTS modellari orasida IndexTTS-2.5 arab tilida ovoz klonlash va tillararo ko‘chirishni to‘liq qo‘llab-quvvatlaydigan kam sonli modellardan biridir. U ochiq kodli ovoz sintezi sohasidagi ushbu til bo‘shlig‘ini to‘ldiradi.

GitHub repozitoriyasi: https://github.com/index-tts/index-tts
arXiv texnik maqolasi: https://arxiv.org/pdf/2601.03888

AI dublyaji va audiokontent yaratish: kontent yaratuvchi boshlovchi yoki qahramonning namunaviy audiosini taqdim etishi kifoya; qayta yozib olishga hojat qoldirmasdan ko‘p tilli va turli hissiy uslubdagi audiokitoblar, radiopyesalar hamda podkastlarni tezda yaratish mumkin.
Tillararo video lokalizatsiyasi: kino va qisqa video jamoalari xitoycha namunaviy audio asosida ingliz, yapon, ispan yoki arab tilidagi dublyajni to‘g‘ridan-to‘g‘ri yaratishi, original aktyor ovoz tembrini saqlashi va xorijiy tarqatish xarajatlarini sezilarli kamaytirishi mumkin.
O‘yinlar va virtual qahramonlar ovozi: o‘yin ishlab chiquvchilari NPC yoki virtual yulduz uchun muayyan ovoz tembrini klonlashi, hissiyot vektori orqali quvonch, g‘azab, qayg‘u va quvonch kabi holatlarni real vaqt rejimida almashtirishi, dinamik syujet ovozi hamda jonli efir interaksiyasini amalga oshirishi mumkin.
Real vaqt ovozli muloqoti va raqamli inson: 0.20 lik juda past real vaqt koeffitsienti tufayli IndexTTS-2.5 aqlli mijozlarga xizmat ko‘rsatish, raqamli inson jonli efiri va real vaqt tarjimasi sohalarida qo‘llanib, kechikishi past shaxsiylashtirilgan ovozli javoblarni ta’minlaydi.
Ta’lim va til o‘rganish: ta’lim muassasalari talaffuzni boshqarish funksiyasi yordamida standart pinyin, CMU fonemalari yoki yapon kana belgilaridagi namuna audiolarini yaratishi, o‘qituvchi ovozini klonlab ko‘p tilli sinxron kurslar tayyorlashi mumkin.