dots.tts Faoliyat yuritmoqda

dots.tts — Xiaohongshu dots jamoasi va Shanxay Jiao Tong universitetining X-LANCE laboratoriyasi hamkorlikda ochiq manba sifatida taqdim etgan 2 milliard parametrli, to‘liq uzluksiz autoregressiv nutq sintezi bazaviy modeli. Model bevosita uzluksiz yashirin fazoda 48 kHz audioni bo‘lakma-bo‘lak yaratadi va Seed-TTS-Eval kabi mezonlarda ovoz tembri o‘xshashligi hamda kontent aniqligi bo‘yicha SOTA natijalariga erishadi. U nol namunali klonlash, oqimli chiqish va past kechikishli dupleks suhbatni qo‘llab-quvvatlaydi. Loyiha kodi va vaznlari to‘liq ochiq taqdim etilgan, shuningdek dots.tts.edit orqali aniq ovoz tahrirlash imkoniyati kengaytirilgan.

Nol namunali ovoz tembri klonlash: atigi 3–10 soniyalik referens audio yordamida berilgan ovoz tembrida istalgan yangi matnni o‘qitish, tillararo klonlashni qo‘llab-quvvatlash mumkin. Seed-TTS-Eval mezonida kontent aniqligi va so‘zlovchi o‘xshashligi bo‘yicha SOTA natijalari qayd etilgan.
Matnni nutqqa aylantirish: tasodifiy ovoz tembrini namunalashdan tortib, muayyan so‘zlovchining yuqori sifatli nutqini yaratishgacha bo‘lgan imkoniyatlarni taqdim etadi. 2B parametrli uzluksiz autoregressiv model asosida bevosita 48 kHz audio chiqaradi.
Oqimli generatsiya va past kechikishli muloqot: oqimli chiqishni tabiiy ravishda qo‘llab-quvvatlaydi; matn prefiksi kiritilgach, audio bo‘lakma-bo‘lak yaratiladi. 1T1A ikki oqimli rejimida yuqori darajadagi LLM har bir matn tokenini chiqargan zahoti nutq tomoni javob beradi. Audioning birinchi paketi kechikishi 54,4 millisekundgacha qisqaradi, bu real vaqtli nutq agentlari va dupleks suhbatlar uchun mos.
Aniq ovoz tahrirlash: mavjud yozuvdagi matnni almashtirish, hissiyotni sozlash, balandlik va nutq tezligini o‘zgartirish, pauza kiritish yoki o‘chirishni qo‘llab-quvvatlaydi. Bir nechta amalni bitta ko‘rsatmada birgalikda bajarish mumkin, tahrirlanmagan qismlar esa o‘z holicha saqlanadi.
Ko‘p tilli qo‘llab-quvvatlash: 24 ta tilni qamrab oladi. MiniMax ko‘p tilli baholashida o‘rtacha so‘zlovchi o‘xshashligi 83,9 ga yetgan va 19 tilda alohida birinchi o‘rinni egallagan.
Bir nechta inferens tezligi: Base, SOAR, MeanFlow (4 qadam), ikki qadamli sCM va bir qadamli DMD kabi bir nechta checkpoint taqdim etiladi. Foydalanuvchi ovoz sifati va inferens tezligi o‘rtasida ehtiyojiga ko‘ra tanlov qilishi mumkin.

WeChat’da kuzatib boring va “开源” deb javob yuboring — AI ochiq manba loyihalari guruhiga qo‘shiling.
To‘liq uzluksiz autoregressiv arxitektura: dots.tts an’anaviy yechimlarda nutqni diskret tokenlarga kvantlash usulidan voz kechadi. Butun generatsiya zanjiri uzluksiz yashirin fazoda ishlaydi: model autoregressiv tarzda akustik qismlarni bo‘lakma-bo‘lak bashorat qiladi, so‘ng BigVGAN uslubidagi dekoder ularni 48 kHz to‘lqin shakliga tiklaydi. Shu orqali diskret kvantlash sabab yuzaga keladigan axborot to‘sig‘i va ovoz tembri tafsilotlari yo‘qolishi tubdan bartaraf etiladi.
Semantik uzluksiz tasvir: model HoliTok asosida ishlab chiqilgan AudioVAE yordamida dastlabki to‘lqin shaklini 25 FPS uzluksiz latent o‘zgaruvchilarga siqadi. Kodlovchi semantik trening orqali tiklash aniqligi va yashirin fazoning strukturaviyligi o‘rtasida muvozanat yaratadi. Natijada tiklangan so‘zlovchi o‘xshashligi 0,969 ga yetadi va keyingi autoregressiv generatsiya uchun boy tembr hamda akustik tafsilotlarni saqlab qoladi.
Xatoni nazorat qilish mexanizmi: uzluksiz autoregressiv generatsiyada oldingi qadamdagi kichik og‘ishlar keyingi bosqichlarda to‘planib tarqalishi mumkin. Bunga qarshi dots.tts sababiy semantik kodlovchini joriy etadi: u yaratilgan VAE patchlarini real vaqt rejimida ixcham semantik tarixga siqib, ularni katta til modeliga qayta uzatadi. Yuqori dispersiyali mahalliy akustik o‘zgarishlarni ajratib, faqat uzoq muddatli semantik xulosani saqlash orqali uzun ketma-ketlik generatsiyasidagi xatolar tarqalishi, hushtak ovozi va tembr siljishi samarali bostiriladi.
Generatsiya jarayoni: generatsiya markazida Qwen2.5-1.5B asosida ishga tushirilgan katta til modeli turadi. U BPE matn tokenlarini bevosita qabul qilib, har bir qadam uchun yashirin holat chiqaradi. Keyin autoregressiv flow-matching head (18 qatlamli DiT) LLM yashirin holati va autoregressiv prefiks shartlari asosida keyingi akustik patchni denoising orqali yaratadi. Shu bilan birga, muzlatilgan CAM++ so‘zlovchi kodlovchisi taqdim etgan global x-vector ovoz tembri barqarorligini ta’minlaydi.
Post-trening tezlashtirish: jamoa SOAR o‘zini tuzatuvchi moslashtirish orqali modelni trening vaqtida haqiqiy inferensdagi og‘ish holatlarini taqlid qilish va o‘zini tuzatishga o‘rgatadi. Bu mukofot modelisiz barqarorlikni oshiradi. MeanFlow distillyatsiyasi o‘qituvchining ko‘p qadamli trayektoriyasini o‘rtacha tezlikka siqib, 4 qadamli yuqori sifatli generatsiyani ta’minlaydi; soddalashtirilgan izchillik modeli (sCM) yordamida 2 qadamgacha qisqartiriladi; mukofotga sezgir taqsimot moslashtirish distillyatsiyasi (DMD) va ikki vaqt masshtabidagi yangilash strategiyasi orqali tabiiy va tiniq, bir qadamli yuqori sifatli model olinadi.

O‘rnatish: `pip install dots.tts` buyrug‘i orqali o‘rnatish mumkin. Yoki GitHub’dan manba kodini klonlab, mahalliy ishlab chiqish uchun `pip install -e .` buyrug‘idan foydalaniladi. Yuqori parallel yuklama holatlarida CUDA Graph tezlashtirishi va uzluksiz batch ishlovini olish uchun qo‘shimcha ravishda SGLang Omni joylashtirilishi mumkin.
Buyruqlar satrida sintez: `dots.tts` kirish nuqtasidan foydalanib, `--model-name-or-path`, `--text`, maqsadli `--prompt-audio` va `--prompt-text` parametrlarini ko‘rsatish orqali nol namunali ovoz tembri klonlanadi. `--prompt-text` qoldirilsa, x-vector klonlash rejimiga o‘tadi; `--prompt-audio` qoldirilsa, tasodifiy ovoz tembri namunalanadi.
Buyruqlar satrida tahrirlash: `dots.tts.edit` kirish nuqtasi hamda `--source-audio` va XML uslubidagi `--instruction` parametrlarini berib, mavjud yozuvdagi matnni almashtirish, hissiyot yoki prosodiyani o‘zgartirish kabi aniq tahrirlarni bajarish mumkin.
Python API orqali asosiy chaqiruv: `DotsTtsRuntime.from_pretrained()` yordamida modelni yuklagach, `generate()` ni chaqirib, matn va ixtiyoriy referens audioni uzatish orqali sintez qilingan audio tensorini olish va faylga saqlash mumkin.
Python API orqali oqimli chiqish: `generate_stream()` audio tensorlarini bo‘lakma-bo‘lak olish imkonini beradi. Ularni real vaqt rejimida pleer yoki WebSocket’ga uzatib, generatsiya bilan bir vaqtda ijro etiladigan past kechikishli tajribani yaratish mumkin.
Python API orqali ikki oqimli suhbat: `DotsTtsRuntimeDoubleStreaming` yordamida sessiyani ishga tushirgach, matnni tokenma-token uzatish mumkin. Nutq tomoni darhol generatsiyani boshlaydi, audioning birinchi paketi kechikishi 54,4 millisekundgacha qisqaradi va bu real vaqtli nutq agentlari uchun mos.
Nozik sozlash: `accelerate launch scripts/train_dots_tts.py` buyrug‘ini ishga tushirib, o‘z ma’lumotlaringiz yo‘lini sozlash orqali ochiq checkpoint asosida ovoz tembri yoki sohaga moslashtirish uchun nozik sozlashni bajarish mumkin.
Distillyatsiya orqali tezlashtirish: `scripts/train_dots_tts_meanflow.py` yordamida SOAR checkpointini o‘qituvchi sifatida qo‘llab MeanFlow distillyatsiyasini bajaring. Bu turli kechikish va parallel yuklama talablariga mos 4, 2 yoki 1 qadamli yuqori sifatli student modellarni olish imkonini beradi.
Veb interfeys: `python apps/gradio/app.py` buyrug‘i orqali vizual sintez interfeysini ishga tushirish yoki `apps/edit_playground/app.py` buyrug‘i orqali Edit Playground’ni ishga tushirish mumkin. Brauzerda audio yuklash, tahrirlanadigan oraliqlarni belgilash va natijani real vaqt rejimida ko‘rish mumkin.

Uzluksiz yashirin fazoda modellashtirish: diskret akustik tokenlardan voz kechib, uzluksiz yashirin fazoda bevosita autoregressiv generatsiyani amalga oshiradi. Spektral tekstura, nafas ohangi va boshqa boy tembr tafsilotlari saqlanadi, tiklangan so‘zlovchi o‘xshashligi 0,969 gacha yetadi.
SOTA sintez sifati: Seed-TTS-Eval mezonida kontent aniqligi va ovoz tembri o‘xshashligi bo‘yicha bir vaqtning o‘zida SOTA natijalariga erishadi. 24 tilli MiniMax baholashida o‘rtacha SIM 83,9 ga yetib, umumiy ko‘rsatkichlarda asosiy yechimlardan ustun keladi.
Tabiiy oqimli past kechikish: 1T1A ikki oqimli rejimida audioning birinchi paketi kechikishi 54,4 millisekundgacha qisqaradi. SGLang Omni bilan bitta H100 GPU’da 16 ta parallel oqim uchun o‘tkazuvchanlik 4,76 req/s ga yetadi va real vaqtli nutq agentlari talablarini qondiradi.
Yagona tahrirlash imkoniyati: dots.tts.edit ayni bazaviy model asosida XML tuzilmali ko‘rsatmalar orqali matn, hissiyot, prosodiya va pauzalarni aniq tahrirlashni qo‘llab-quvvatlaydi. doteBench baholashida boshqa ochiq tizimlardan umumiy natijalar bo‘yicha ustun keladi.

GitHub repozitoriysi: https://github.com/studio-dots-ai/dots.tts
arXiv texnik maqolasi: https://arxiv.org/pdf/2608.02673

Real vaqtli nutq agentlari: 1T1A ikki oqimli rejimida birinchi paket kechikishi 54,4 millisekundgacha qisqaradi. LLM boshqaradigan real vaqtli dupleks suhbatlar va ovozli yordamchilar uchun mos.
Nol namunali ovoz tembri klonlash: bir necha soniyalik referens audio yordamida istalgan ovoz tembrini takrorlash, tillararo klonlashni qo‘llab-quvvatlash mumkin. Audiokitoblar, dublyaj va shaxsiylashtirilgan kontent yaratish uchun mos.
Ko‘p tilli kontent yaratish: 24 ta tilni qamrab oladi va yuqori so‘zlovchi o‘xshashligini saqlaydi. Global mahsulotlarning ko‘p tilli ovozli e’lonlari va mahalliylashtirish xizmatlari uchun mos.
Aniq ovoz tahrirlash: dots.tts.edit orqali mavjud yozuvdagi matnni almashtirish, hissiyotni sozlash, prosodiyani o‘zgartirish va pauzalarni tahrirlash mumkin. Podkast post-ishlovi va audio kontentni nozik tahrirlash uchun mos.
Jonli efir va real vaqtli e’lonlar: LLM’ning oqimli chiqishi bilan birgalikda generatsiya va ijroni bir vaqtda amalga oshiradi. Yangiliklar e’loni, jonli savdo va real vaqtli axborot uzatish holatlari uchun mos.