IndexTTS-2.5 Inafanya kazi

IndexTTS-2.5 ni modeli ya kiwango cha viwanda ya kuiga sauti bila sampuli kutoka Bilibili, yenye vigezo 0.8B pekee, inayosaidia uhamishaji wa lugha mbalimbali kati ya Kichina, Kiingereza, Kijapani, Kihispania na Kiarabu. Modeli imeunda upya usanifu wa uelekezaji, na kuongeza kasi ya uelekezaji mara 2.28. Inasaidia kurekebisha kasi ya usemi kutoka 0.5x hadi 2.0x, pamoja na udhibiti wa kina wa matamshi na hisia. Msimbo kamili, uzani wa modeli na makala ya utafiti vimetolewa, chini ya leseni ya Bilibili Model License.

Kuiga sauti bila sampuli: Unahitaji tu rekodi ya marejeo ya sekunde 3 hadi 10 ili kunakili kwa usahihi sifa za sauti ya mzungumzaji yeyote, bila mafunzo ya ziada kwa mzungumzaji anayelengwa.
Usaidizi wa lugha tano na uhamishaji kati ya lugha: Inasaidia Kichina, Kiingereza, Kijapani, Kihispania na Kiarabu.
Udhibiti wa kina wa hisia: Inatoa njia mbalimbali za kurekebisha hisia: kuhamisha hisia kupitia rekodi huru ya marejeo ya kihisia, kubainisha kwa usahihi nguvu ya hisia kwa vekta ya hisia yenye vipimo vinane, kuwasha ukadiriaji wa hisia unaoendeshwa na maandishi, pamoja na kurekebisha kiwango cha hisia kupitia kigezo cha emo_alpha.
Utenganishaji wa timbre na hisia: Rekodi ya kidokezo cha timbre na rekodi ya kidokezo cha hisia zinaweza kubainishwa kwa kujitegemea kabisa. Mtumiaji anaweza kudhibiti tofauti kati ya “nani anayezungumza” na “jinsi anavyozungumza”.
Udhibiti usio na viwango wa kasi ya usemi: Kupitia kigezo cha duration_factor, kasi ya usemi uliosanisishwa inaweza kurekebishwa kiholela kati ya mara 0.5 na 2.0, kulingana na mahitaji ya midundo ya matukio mbalimbali.
Udhibiti sahihi wa matamshi: Inasaidia udhibiti wa matamshi kwa viwango vitatu—pinyin ya Kichina, fonimu za CMU za Kiingereza na kana ya Kijapani—na kutatua kwa ufanisi matatizo ya herufi zenye matamshi mengi, maneno yenye usomaji tofauti na matamshi yanayotegemea muktadha.

Wafuate WeChat na ujibu “开源” ili kujiunga na kikundi cha majadiliano cha miradi huria ya AI
Bomba la uzalishaji la hatua tatu: Modeli hutumia usanifu wa hatua tatu wa “maandishi → Tokeni za kisemantiki → Mel-spectrogramu → mawimbi”. Modeli ya lugha ya maandishi hadi semantiki (T2S) inayotegemea Transformer hutengeneza Tokeni za kisemantiki; moduli ya ulinganifu wa mtiririko wa semantiki hadi Mel-spectrogramu (S2M) isiyo ya kujirudia huzalisha picha ya wigo wa Mel, kisha vokoda ya neva huirejesha kuwa sauti ya mwisho.
Mfinyazo wa kodeki ya semantiki: Kiwango cha fremu cha Tokeni za kisemantiki hupunguzwa kutoka 50Hz hadi 25Hz, na hivyo kupunguza moja kwa moja urefu wa mfuatano kwa nusu. Hii hupunguza kwa kiasi kikubwa mahitaji ya ukokotoaji na kumbukumbu ya moduli ya T2S wakati wa mafunzo na uelekezaji, ikiwa ni mojawapo ya funguo za kuongeza kasi ya uelekezaji.
Uboreshaji wa usanifu wa Zipformer: Mtandao mkuu wa moduli ya S2M umebadilishwa kutoka U-DiT hadi usanifu bora zaidi wa Zipformer. Zipformer hutumia vigezo vichache zaidi huku ikitoa uwezo mkubwa zaidi wa kuiga utegemezi wa masafa marefu, na kufanya uzalishaji wa Mel-spectrogramu kuwa wa haraka na thabiti zaidi, bila kupunguza ubora wa sauti iliyosanisishwa.
Mkakati wa uundaji wa lugha mbalimbali: Ili kushughulikia mkanganyiko unaosababishwa na mwingiliano wa herufi katika mazingira ya lugha nyingi, timu ilipendekeza mikakati mitatu: upangaji unaotambua mipaka (kuingiza alama za lugha kabla na baada ya maandishi kama ), uunganishaji wa kiwango cha Tokeni (kuunganisha upachikaji maalumu wa lugha kwa kila Tokeni ya ingizo), na uzalishaji unaoongozwa na maagizo (kuongeza kiambishi cha maagizo ya lugha asilia kabla ya maandishi kama “tafadhali soma kwa Kiingereza”).
Uboreshaji wa mafunzo ya kuimarisha kwa GRPO: Katika hatua ya baada ya mafunzo ya moduli ya T2S, GRPO (Group Relative Policy Optimization) huletwa. Kiwango cha makosa ya maneno (WER) cha modeli ya ASR iliyogandishwa hutumiwa kama ishara ya zawadi. Kila mara hutengenezwa sampuli nne za watahiniwa, na uwezekano wa jamaa wa sampuli zenye zawadi kubwa huboreshwa ili kuongeza mfululizo usahihi wa matamshi na asili ya sauti.

Maandalizi ya mazingira: Mtumiaji anapaswa kwanza kusakinisha Git na kidhibiti cha vifurushi uv, kisha kupakua hazina rasmi ya msimbo kwenye kompyuta kwa kutumia git clone https://github.com/index-tts/index-tts.git.
Usakinishaji wa vitegemezi: Baada ya kuingia kwenye saraka ya mradi, tekeleza amri ya uv sync --all-extras ili kuunda kiotomatiki mazingira pepe na kusakinisha vitegemezi vyote muhimu vya Python.
Kupakua modeli: Tumia zana ya huggingface-cli au modelscope kupakua uzani wa modeli kutoka hazina rasmi ya IndexTeam/IndexTTS-2.5 hadi kwenye saraka ya ndani ya checkpoints.
Kuanzisha kiolesura cha wavuti: Tekeleza uv run webui.py ili kuanzisha kiolesura shirikishi cha Gradio, kisha tembelea http://127.0.0.1:7860 kwenye kivinjari kwa ajili ya usanisi wa sauti unaoonekana.
Kupakia modeli: Katika hati ya Python, leta darasa la IndexTTS2 kutoka indextts.infer_v2_5, kisha lipatie njia ya faili ya usanidi na saraka ya modeli ili kukamilisha uundaji wa mfano wa modeli.
Kuiga sauti kwa msingi: Ita mbinu ya infer ya mfano, ukipitisha njia ya rekodi ya marejeo, maandishi lengwa na msimbo wa lugha, ili kutengeneza na kuhifadhi faili ya sauti yenye timbre iliyoigwa.
Udhibiti wa hisia: Katika mbinu ya infer, pitisha kigezo cha emo_audio_prompt ili kubainisha rekodi ya marejeo ya hisia, au tumia emo_vector kupitisha vekta ya hisia yenye vipimo vinane ili kudhibiti mwonekano wa kihisia wa sauti iliyosanisishwa.
Kurekebisha kasi ya usemi: Wakati wa uelekezaji, weka kigezo cha duration_factor kuwa thamani kati ya 0.5 na 2.0 ili kuongeza au kupunguza kasi ya sauti iliyosanisishwa kwa uwiano.
Kuingilia matamshi: Ingiza alama kama <行|XING2>, au <上手|じょうず> kwenye maandishi ya ingizo ili kudhibiti kwa usahihi matamshi ya herufi zenye matamshi mengi au maneno yenye usomaji tofauti.

Vigezo vichache, ufanisi mkubwa: Modeli ina vigezo 0.8B pekee. Kupitia mfinyazo wa kodeki ya semantiki na uboreshaji wa usanifu wa Zipformer, inafikia ongezeko la kasi ya uelekezaji la mara 2.28. Chini ya usahihi wa BF16, kiwango cha wakati halisi (RTF) hushuka hadi 0.20, ikichanganya wepesi na utendaji wa juu.
Uhamishaji wa sauti kati ya lugha tano: Inasaidia Kichina, Kiingereza, Kijapani, Kihispania na Kiarabu. Mtumiaji anaweza kutumia rekodi ya marejeo ya lugha yoyote kuiga sauti ya lugha nyingine, na kufanikisha uhamishaji wa hisia kati ya lugha bila data ya mafunzo ya hisia ya lugha lengwa.
Udhibiti wa kina wa vipengele vingi: Modeli inasaidia udhibiti usio na viwango wa kasi ya usemi kutoka 0.5x hadi 2.0x, udhibiti wa vekta ya hisia yenye vipimo vinane, ukadiriaji wa hisia unaoendeshwa na maandishi, pamoja na uingiliaji wa matamshi kwa pinyin, fonimu za CMU na kana ya Kijapani. Hii inakidhi mahitaji ya urekebishaji wa kina wa usanisi wa sauti katika uundaji wa maudhui.
Utenganishaji kamili wa timbre na hisia: Mtumiaji anaweza kubainisha kwa kujitegemea rekodi ya kidokezo cha timbre na rekodi ya kidokezo cha hisia. Hata zinaweza kutoka lugha tofauti, hivyo kuhifadhi timbre ya mzungumzaji lengwa huku ikiingiza kwa urahisi mtindo wa hisia unaohitajika.
Usaidizi huria wa Kiarabu: Miongoni mwa modeli huria za TTS zinazotumika sana, IndexTTS-2.5 ni mojawapo ya chache zinazosaidia kikamilifu kuiga sauti ya Kiarabu na uhamishaji wa sauti kati ya lugha, na hivyo kujaza pengo la lugha hiyo katika uwanja wa usanisi wa sauti huria.

Hazina ya GitHub：https://github.com/index-tts/index-tts
Makala ya kiufundi ya arXiv：https://arxiv.org/pdf/2601.03888

Udubishaji wa AI na uundaji wa maudhui ya sauti: Watayarishaji wa maudhui wanahitaji tu kutoa rekodi ya marejeo ya mtangazaji au mhusika ili kutengeneza kwa haraka vitabu vya sauti, tamthilia za redio na podikasti za lugha na mitindo mbalimbali ya hisia, bila kurekodiwa tena.
Ujanibishaji wa video za lugha mbalimbali: Timu za filamu, televisheni na video fupi zinaweza kutumia moja kwa moja rekodi ya marejeo ya Kichina kutengeneza udubishaji wa Kiingereza, Kijapani, Kihispania au Kiarabu, huku zikihifadhi timbre ya mwigizaji wa awali na kupunguza kwa kiasi kikubwa gharama za usambazaji wa kimataifa.
Sauti za michezo na wahusika pepe: Watengenezaji wa michezo wanaweza kuiga timbre maalumu kwa wahusika NPC au sanamu pepe, kubadilisha hisia za furaha, hasira, huzuni na furaha kwa wakati halisi kupitia vekta ya hisia, na kutekeleza sauti za matukio yanayobadilika pamoja na mwingiliano wa matangazo ya moja kwa moja.
Mwingiliano wa sauti wa wakati halisi na binadamu wa kidijitali: Kwa kiwango cha chini sana cha wakati halisi cha 0.20, IndexTTS-2.5 inaweza kutumika katika huduma kwa wateja mahiri, matangazo ya moja kwa moja ya binadamu wa kidijitali na tafsiri ya wakati halisi, ikisaidia majibu ya sauti yaliyobinafsishwa yenye ucheleweshaji mdogo.
Elimu na ujifunzaji wa lugha: Taasisi za elimu zinaweza kutumia kipengele cha udhibiti wa matamshi kutengeneza rekodi za mfano za pinyin sanifu, fonimu za CMU au kana ya Kijapani, na kuiga timbre ya mwalimu ili kuunda kozi zilizosawazishwa za lugha mbalimbali.