dots.tts Inafanya kazi

dots.tts ni modeli ya msingi ya usanisi wa sauti ya kujirejelea yenye vigezo bilioni 2, iliyotolewa kama chanzo huria kwa pamoja na timu ya dots ya Xiaohongshu na maabara ya X-LANCE ya Chuo Kikuu cha Shanghai Jiao Tong. Modeli huzalisha sauti ya 48kHz moja kwa moja katika nafasi fiche endelevu kwa vipande. Imefikia kiwango cha SOTA katika ufanano wa sauti na usahihi wa maudhui kwenye vigezo kama Seed-TTS-Eval, na inasaidia kunakili sauti bila mifano ya awali, utoaji wa mtiririko na mazungumzo ya njia mbili yenye ucheleweshaji mdogo. Msimbo na uzani wote wa mradi umetolewa kama chanzo huria, huku uwezo sahihi wa kuhariri sauti wa dots.tts.edit ukiwa umeongezwa.

Kunakili sauti bila mifano ya awali: Inahitaji sauti ya marejeo ya sekunde 3–10 pekee ili kuiga sauti hiyo ikisoma maandishi yoyote mapya, na inasaidia kunakili sauti katika lugha mbalimbali. Imefikia utendaji wa SOTA katika usahihi wa maudhui na ufanano wa mzungumzaji kwenye kigezo cha Seed-TTS-Eval.
Usanisi wa maandishi kuwa sauti: Hutoa uzalishaji wa sauti ya ubora wa juu, kuanzia sampuli za sauti nasibu hadi sauti ya mzungumzaji maalum, kwa kutumia modeli ya kujirejelea endelevu yenye vigezo 2B inayotoa sauti ya 48 kHz moja kwa moja.
Uzalishaji wa mtiririko na mwingiliano wa ucheleweshaji mdogo: Inasaidia utoaji wa mtiririko kiasili; baada ya kuingiza mwanzo wa maandishi, sauti huzalishwa kwa vipande. Katika hali ya mtiririko wa njia mbili ya 1T1A, kila Token ya maandishi inayotolewa na LLM husababisha upande wa sauti kujibu mara moja. Ucheleweshaji wa pakiti ya kwanza ya sauti unaweza kuwa mdogo hadi milisekunde 54.4, hivyo inafaa kwa Agent wa sauti wa wakati halisi na mazungumzo ya njia mbili.
Uhariri sahihi wa sauti: Inasaidia kubadilisha maandishi, kurekebisha hisia, kubadilisha sauti na kasi ya usemi, pamoja na kuingiza au kufuta mapumziko katika rekodi zilizopo. Shughuli nyingi zinaweza kuunganishwa na kukamilishwa kwa amri moja, huku sehemu ambazo hazijahaririwa zikibaki kama zilivyo.
Usaidizi wa lugha nyingi: Inashughulikia lugha 24. Katika tathmini ya lugha nyingi ya MiniMax, wastani wa ufanano wa mzungumzaji ulifikia 83.9, huku lugha 19 zikishika nafasi ya kwanza katika kipimo husika.
Chaguo nyingi za kasi ya uelekezaji: Hutoa vituo mbalimbali vya ukaguzi, vikiwemo Base, SOAR, MeanFlow (hatua 4), sCM ya hatua mbili na DMD ya hatua moja, ili watumiaji wachague kati ya ubora wa sauti na kasi ya uelekezaji kulingana na mahitaji.

Fuata WeChat na ujibu “开源” ili ujiunge na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Muundo wa kujirejelea endelevu kabisa: dots.tts inaacha mbinu za jadi za kubadilisha sauti kuwa Token za kipekee. Mlolongo mzima wa uzalishaji huendeshwa katika nafasi fiche endelevu: modeli hutabiri vipande vya sauti kwa kujirejelea, kisha avirejeshe kuwa mawimbi ya 48 kHz kupitia dekoda ya mtindo wa BigVGAN. Hii huepuka kimsingi kizuizi cha taarifa na upotevu wa maelezo ya sauti unaosababishwa na ukadiriaji wa kipekee.
Uwakilishi endelevu wa kisemantiki: Modeli hutumia AudioVAE iliyoundwa kwa misingi ya HoliTok kubana mawimbi ghafi kuwa vigezo fiche endelevu vya 25 FPS. Kisimbaji husawazisha uaminifu wa urejeshaji na muundo wa nafasi fiche kupitia mafunzo ya kisemantiki, na kufanya ufanano wa mzungumzaji baada ya urejeshaji kufikia 0.969. Hivyo huhifadhi uwezo mkubwa wa maelezo ya sauti na sifa za akustiki kwa uzalishaji wa baadaye wa kujirejelea.
Utaratibu wa kudhibiti makosa: Ili kukabiliana na tatizo la asili ambapo mikengeuko midogo ya hatua za awali hujikusanya na kusambaa katika hatua zinazofuata katika uzalishaji wa kujirejelea endelevu, dots.tts huanzisha kisimbaji cha kisemantiki cha kisababishi. Kisimbaji hiki hubana VAE patch zilizozalishwa kuwa historia fupi ya kisemantiki kwa wakati halisi na kuirejesha kwenye modeli kubwa ya lugha. Kwa kuondoa mabadiliko ya akustiki ya ndani yenye tofauti kubwa na kuhifadhi tu muhtasari wa kisemantiki wa masafa marefu, mfumo hukandamiza kwa ufanisi usambazaji wa makosa, mlio mkali na kuhama kwa sauti katika uzalishaji wa mfuatano mrefu.
Mchakato wa uzalishaji: Modeli kubwa ya lugha ndiyo kitovu cha mchakato. Imeanzishwa kwa Qwen2.5-1.5B, hutumia Token za maandishi za BPE moja kwa moja na kutoa hali fiche katika kila hatua. Kisha kichwa cha ulinganifu wa mtiririko wa kujirejelea (DiT yenye tabaka 18), kwa kutegemea hali fiche ya LLM na mwanzo wa kujirejelea, hufanya uzalishaji wa kuondoa kelele wa patch inayofuata ya akustiki. Wakati huo huo, kisimbaji kilichogandishwa cha mzungumzaji CAM++ hutoa x-vector ya kimataifa ili kudumisha uthabiti wa sauti.
Uharakishaji baada ya mafunzo: Timu hutumia upangaji wa kujisahihisha wa SOAR kuiga hali za kupotoka zinazotokea katika uelekezaji halisi wakati wa mafunzo na kujifunza kujisahihisha, hivyo kuboresha uthabiti bila modeli ya zawadi. Udistili wa MeanFlow hubana mfuatano wa hatua nyingi wa mwalimu kuwa kasi ya wastani, na kufanikisha uzalishaji wa ubora wa juu kwa hatua 4. Modeli ya uthabiti iliyorahisishwa (sCM) huibana hadi hatua 2. Kupitia udistili wa ulinganishaji wa usambazaji unaotambua zawadi (DMD) pamoja na mkakati wa masasisho wa mizani miwili ya muda, hupatikana modeli ya hatua moja yenye ubora wa juu, wa asili na wazi.

Usakinishaji: Tekeleza pip install dots.tts ili kusakinisha, au kloni msimbo kutoka GitHub kisha utumie pip install -e . kwa usakinishaji wa maendeleo ya ndani. Katika hali ya upitishaji mkubwa, unaweza pia kusambaza SGLang Omni ili kupata uharakishaji wa CUDA Graph na usaidizi wa uchakataji wa bechi endelevu.
Usanisi kupitia mstari wa amri: Tumia kiingilio cha dots.tts na uainishe --model-name-or-path, --text, pamoja na --prompt-audio na --prompt-text lengwa ili kunakili sauti bila mifano ya awali. Ukiacha --prompt-text, mfumo hubadilika kuwa kunakili kwa x-vector; ukiacha --prompt-audio, hufanya sampuli za sauti nasibu.
Uhariri kupitia mstari wa amri: Tumia kiingilio cha dots.tts.edit na utoe --source-audio pamoja na --instruction ya mtindo wa XML ili kufanya uhariri sahihi wa rekodi zilizopo, kama vile kubadilisha maandishi au kurekebisha hisia na prosodia.
Matumizi ya msingi ya Python API: Baada ya kupakia modeli kwa DotsTtsRuntime.from_pretrained(), ita generate() na kupitisha maandishi pamoja na sauti ya marejeo ya hiari ili kupata tenzori ya sauti iliyosanisiwa na kuihifadhi kama faili.
Utoaji wa mtiririko kupitia Python API: Ita generate_stream() ili kupata tenzori za sauti kwa vipande na kuzituma moja kwa moja kwa kicheza sauti au WebSocket, hivyo kuwezesha kucheza wakati wa uzalishaji kwa ucheleweshaji mdogo.
Mazungumzo ya mtiririko wa njia mbili kupitia Python API: Tumia DotsTtsRuntimeDoubleStreaming kuanzisha kipindi, kisha tuma maandishi Token moja baada ya nyingine. Upande wa sauti huanza kuzalisha mara moja, na ucheleweshaji wa pakiti ya kwanza unaweza kuwa mdogo hadi milisekunde 54.4, hivyo inafaa kwa Agent wa sauti wa wakati halisi.
Urekebishaji wa modeli: Tekeleza accelerate launch scripts/train_dots_tts.py na usanidi njia ya data yako ili kufanya urekebishaji wa sauti au wa kikoa kwa msingi wa vituo vya ukaguzi vya umma.
Uharakishaji kwa udistili: Tumia scripts/train_dots_tts_meanflow.py na kituo cha ukaguzi cha SOAR kama mwalimu kwa udistili wa MeanFlow, ili kupata modeli za wanafunzi za ubora wa juu za hatua 4, 2 au 1 kwa mahitaji tofauti ya ucheleweshaji na upitishaji.
Mfinyanzi wa wavuti: Tekeleza python apps/gradio/app.py kuanzisha kiolesura cha kuona cha usanisi, au tekekeleza apps/edit_playground/app.py kuanzisha Edit Playground, kisha pakia sauti, weka alama kwenye vipindi vya uhariri na uhakiki matokeo kwa wakati halisi kupitia kivinjari.

Uundaji katika nafasi fiche endelevu kabisa: Inaacha Token za akustiki za kipekee na huzalisha moja kwa moja kwa kujirejelea katika nafasi fiche endelevu, ikihifadhi maelezo mengi ya sauti kama umbile la spektra na sauti ya pumzi. Ufanano wa mzungumzaji baada ya urejeshaji hufikia 0.969.
Ubora wa usanisi wa SOTA: Imefikia SOTA kwa wakati mmoja katika usahihi wa maudhui na ufanano wa sauti kwenye kigezo cha Seed-TTS-Eval. Katika tathmini ya MiniMax ya lugha 24, wastani wa SIM ulifikia 83.9, na utendaji wa jumla unazidi suluhisho kuu.
Mtiririko wa asili wenye ucheleweshaji mdogo: Katika hali ya mtiririko wa njia mbili ya 1T1A, pakiti ya kwanza ya sauti hutolewa ndani ya milisekunde 54.4. Kwa SGLang Omni, kadi moja ya H100 hushughulikia njia 16 kwa 4.76 req/s, kukidhi mahitaji ya Agent wa sauti wa wakati halisi.
Uwezo wa uhariri uliounganishwa: dots.tts.edit hutegemea msingi huohuo na inasaidia uhariri sahihi wa maandishi, hisia, prosodia na mapumziko kupitia maagizo yaliyopangwa ya XML. Katika tathmini ya doteBench, kwa jumla iliongoza mifumo mingine ya chanzo huria.

Hazina ya GitHub：https://github.com/studio-dots-ai/dots.tts
Waraka wa kiteknolojia wa arXiv：https://arxiv.org/pdf/2608.02673

Agent wa sauti wa wakati halisi: Katika hali ya mtiririko wa njia mbili ya 1T1A, pakiti ya kwanza hutolewa ndani ya milisekunde 54.4, hivyo inafaa kwa mazungumzo ya njia mbili ya wakati halisi yanayoendeshwa na LLM na wasaidizi wa sauti.
Kunakili sauti bila mifano ya awali: Kwa sauti ya marejeo ya sekunde chache pekee, inaweza kuiga sauti yoyote na kusaidia kunakili katika lugha mbalimbali. Inafaa kwa vitabu vya sauti, udubishaji na uundaji wa maudhui yaliyobinafsishwa.
Uzalishaji wa maudhui ya lugha nyingi: Inashughulikia lugha 24 huku ikidumisha ufanano wa juu wa mzungumzaji, na inafaa kwa matangazo ya sauti ya lugha nyingi na huduma za ujanibishaji za bidhaa za kimataifa.
Uhariri sahihi wa sauti: Kupitia dots.tts.edit, rekodi zilizopo zinaweza kufanyiwa mabadiliko ya maandishi, marekebisho ya hisia, prosodia na mapumziko. Inafaa kwa uhariri wa baada ya kurekodi podikasti na uboreshaji wa maudhui ya sauti.
Matangazo ya moja kwa moja na ya wakati halisi: Kwa kuunganishwa na utoaji wa mtiririko wa LLM, sauti huzalishwa na kuchezwa kwa wakati mmoja. Inafaa kwa matangazo ya habari, biashara ya moja kwa moja na matangazo ya taarifa za wakati halisi.