AuK Inafanya kazi

AuK ni modeli ya msingi ya Tencent Hunyuan yenye vigezo bilioni 1.5, ya kuzalisha na kuhariri sauti, inayotumia usanifu wa diffusion wa flow matching badala ya autoregressive. Modeli inaweza kutekeleza kazi 16 za sauti kupitia kiolesura cha pamoja cha maagizo ya lugha asilia, ikiwemo TTS ya zero-shot/instruct, uhariri wa maudhui ya sauti, udhibiti wa akustika, uhariri wa vipengele visivyo vya lugha na uondoaji wa kelele pamoja na utenganishaji wa sauti ya binadamu. Modeli inatoa toleo la haraka la AuK-Flash lenye uelekezaji wa hatua 4, kwa kasi iliyoongezeka takriban mara 4.5.

Zero-shot TTS: Tumia sauti ya rejeleo ya sekunde chache kunakili timbre na kuunganisha sauti mpya.
Instruct TTS: Tengeneza sauti inayolingana kwa kueleza tu sifa za sauti kwa maandishi, bila kuhitaji sauti ya rejeleo.
Uhariri wa maudhui ya sauti: Badilisha, ongeza au futa maneno katika rekodi bila kubadilisha timbre na kiimbo.
Uhariri wa mashairi ya nyimbo: Hifadhi melodi na sifa za uimbaji, huku ukibadilisha mashairi pekee.
Uhariri wa mwinuko wa sauti/kasi ya kuzungumza/ujazo: Rekebisha kwa usahihi sifa za akustika kwa vipimo vya semitoni, kasi mara kadhaa na desibeli.
Uhariri wa hisia na timbre: Badilisha rangi ya kihisia bila kubadilisha maneno, au hifadhi maudhui huku ukibadilisha timbre.
Uhariri wa lafudhi na uondoaji wa kelele: Ondoa lafudhi, punguza kelele na mwangwi ili kuboresha uwazi.
Uhariri wa matukio yasiyo ya lugha: Ongeza au ondoa sauti ya kupumua, kucheka na kukohoa, na kubadilisha kati ya usemi wa kawaida na kunong'ona.
Utenganishaji wa sauti: Gawanya sauti ya watu wengi kulingana na mpangilio wa kuzungumza, au toa mzungumzaji lengwa kulingana na maelezo ya maudhui.
Utenganishaji wa muziki: Toa sauti za waimbaji kutoka kwenye wimbo na uondoe ala za kuandamana.

Fuatilia WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi huria ya AI
Mtazamo wa jumla: AuK hutumia usanifu wa diffusion wa flow-matching kuzalisha uwakilishi fiche wa sauti, unaofaa kiasili kwa kazi za “uhariri”. Uwakilishi fiche wa sauti asili hutumika kama mwanzo wa kuondoa kelele, na ni sehemu zinazoagizwa pekee ndizo hubadilishwa. Hivyo, timbre, melodi na maudhui ambayo hayajahaririwa huhifadhiwa vizuri zaidi. Huu ndio msingi wa kiteknolojia unaowezesha kufunika familia nzima ya kazi za uhariri.
Usanifu wa pipeline wenye vipengele vitatu: Mfumo una sehemu tatu: modeli kubwa ya multimodali husoma maagizo ya lugha asilia na sauti ya rejeleo, kisha huzalisha masharti ya kisemantiki; audio VAE husimba mawimbi ya 24kHz kuwa nafasi fiche ya akustika ya 50Hz; Transformer mseto wa msingi umeundwa kwa tabaka 10 za dual-stream MMDiT pamoja na tabaka 20 za single-stream DiT, ukiwa na upana wa 1536 na jumla ya vigezo bilioni 1.5.
Mafunzo ya upatanishaji wa maagizo kwa kiwango kikubwa: Data ya mafunzo ina takriban jozi bilioni 3.03 za “agizo—sauti”, zenye jumla ya takriban saa milioni 1.95 za usimamizi halali. Jambo muhimu ni kwamba kazi zote huunganishwa katika muundo mmoja wa “agizo + sauti ya kuingiza → sauti ya kutoa”, hivyo modeli hujumuisha kazi 16 kupitia kiolesura kimoja.
Mafunzo ya baadae na uboreshaji kulingana na mapendeleo ya binadamu: Baada ya mafunzo ya msingi, modeli hupitia uboreshaji wa mapendeleo ya binadamu na mafunzo ya baadae ya uimarishaji (RL post-training), ili kuboresha uasilia wa sauti inayozalishwa, ufuasi wa maagizo na ubora wa kusikiliza.

Thibitisha mazingira ya maunzi: Andaa NVIDIA GPU yenye takriban 24GB ya VRAM, kama RTX 3090/4090.
Clone hazina ya msimbo: Clone hazina ya Tencent-Hunyuan/AuK kutoka GitHub hadi kwenye kompyuta yako.
Sakinisha mazingira ya utegemezi: Sanidi mazingira ya Python kulingana na mahitaji ya hazina na usakinishe vifurushi vinavyohitajika.
Pakua uzito wa modeli: Pakua uzito wa AuK na faili za VAE zinazoandamana kutoka Hugging Face au ModelScope.
Pakua modeli ya masharti ya kisemantiki: Pakua na sanidi modeli kubwa ya multimodali Qwen2.5-Omni-3B kando, kwa ajili ya kuchanganua maagizo na sauti ya rejeleo.
Andaa nyenzo za kuingiza: Andaa maandishi lengwa, sauti ya rejeleo au faili asili ya sauti inayotakiwa kuhaririwa.
Andika maagizo ya lugha asilia: Andika maagizo kulingana na mahitaji ya kazi, kama vile kueleza sifa za sauti, kubainisha sentensi ya kubadilisha au kurekebisha mwinuko/kasi ya sauti.
Tekeleza uelekezaji: Ingiza maagizo na nyenzo kupitia mstari wa amri (CLI), kisha tekeleza uzalishaji au uhariri na usubiri matokeo.
Sikiliza na rekebisha: Kagua sauti ya matokeo; ikiwa hauridhiki, rekebisha maneno ya maagizo, idadi ya hatua za sampuli au nguvu ya CFG na uzalishe tena.

Kiolesura kimoja, kazi zote zimefunikwa: Kupitia maagizo ya lugha asilia, modeli inaweza kutekeleza kazi 16 za sauti, zikiwemo TTS, uhariri, uboreshaji na utenganishaji, bila kuhitaji kusambaza modeli tofauti kwa kila kazi.
Uwezo wa uhariri ni adimu katika sekta: Inaunga mkono uhariri wa kina kama kubadilisha maneno, kuingiza sentensi, kurekebisha mwinuko wa sauti na kubadilisha hisia, huku ikihifadhi kwa kiwango cha juu timbre na kiimbo asili.
Instruct TTS haihitaji sauti ya rejeleo: Sauti inaweza kuzalishwa kwa maelezo ya maandishi ya sifa za sauti, hivyo kupunguza kizingiti cha matumizi.
Usanifu wa flow matching huhifadhi uhalisia zaidi: Inatumia uzalishaji wa diffusion badala ya utabiri wa tokeni moja baada ya nyingine. Wakati wa kuhariri, sauti asili hutumika kama mwanzo wa kuondoa kelele, hivyo sehemu ambazo hazijabadilishwa hupata uharibifu mdogo sana.

Tovuti rasmi ya mradi: https://auk-project.github.io/
Hazina ya GitHub: https://github.com/Tencent-Hunyuan/AuK
Hazina ya modeli ya HuggingFace: https://huggingface.co/tencent/AuK
Waraka wa kiufundi wa arXiv: https://arxiv.org/pdf/2609.08936

Urekebishaji wa mistari ya filamu na tamthilia fupi baada ya utayarishaji: Waigizaji wanapokosea maneno au hati inapofanyiwa marekebisho madogo, badilisha moja kwa moja maneno au sentensi mahususi kwenye rekodi bila kurekodi sauti upya studio, huku ukihifadhi hisia za uigizaji wa awali.
Utayarishaji wa podikasti na mahojiano: Futa makosa ya usemi na maneno yasiyo ya lazima, rekebisha kasi na mpangilio wa usemi, ondoa kelele za chinichini na mwangwi, kisha geuza nyenzo ghafi ya uhariri kuwa kazi iliyokamilika kwa urahisi.
Utayarishaji wa vitabu vya sauti na sauti za AI: Tumia Instruct TTS kuzalisha timbre tofauti kulingana na maelezo ya kila mhusika. Narrator yuleyule pia anaweza kurekebishiwa hisia na kiimbo baada ya utayarishaji, hivyo kupunguza gharama ya kuunda wahusika wengi.
Uundaji wa muziki na kazi za remix: Badilisha mashairi ya toleo la kuimbwa upya huku ukihifadhi melodi na sifa za uimbaji za awali, au toa sauti za waimbaji kutoka kwenye nyimbo kwa ajili ya nyenzo za remix.
Mafunzo ya lugha na matumizi ya ufikivu: Ondoa lafudhi kwa watumiaji wenye lafudhi au matatizo ya usemi, rekebisha kasi na ujazo wa sauti, na kuzalisha maudhui ya sauti yaliyo wazi na rahisi kueleweka.