YuE2 Inafanya kazi

YuE2 ni modeli ya kuzalisha muziki iliyotolewa kama programu huria na Chuo Kikuu cha Sayansi na Teknolojia cha Hong Kong pamoja na timu ya M-A-P. Modeli inaweza kuzalisha noti za muziki za ABC zinazoweza kuhaririwa (melodia + akodi) kulingana na mashairi ya wimbo na mtindo, kisha kuzibadilisha kuwa wimbo kamili wa 48kHz, hivyo kufanya mchakato wa ubunifu uwe wazi na unaoweza kudhibitiwa. Modeli inasaidia uundaji kutoka mwanzo, uimbaji upya bila sampuli za mafunzo, na uhariri wa noti kupitia mazungumzo na Agent. Kwenye kipimo cha WildSongBench, SongBench Avg ilifikia 6.9632, ikizidi modeli za kibiashara kama Suno v5.

Uundaji kwa upangaji wa kiishara: Ingiza mashairi na vidokezo vya mtindo; kwanza huzalisha noti za ABC zinazoweza kuhaririwa za melodia + akodi, kisha huzibadilisha kuwa wimbo kamili wenye sauti na usindikizaji.
Uimbaji upya bila sampuli za mafunzo: Tumia SheetSage2 kubadilisha rekodi ya wimbo wa awali kuwa noti, kisha uutengeneze upya kwa mtindo au mashairi mapya bila kurekebisha modeli mahsusi kwa kazi ya uimbaji upya.
Uhariri wa mazungumzo kupitia Agent: Zungumza na Agent kuhusu noti, badilisha upatanisho wa sauti, melodia, kasi au muundo wa wimbo, kisha tengeneza toleo jipya.
Kubadilisha sauti kuwa noti (SheetSage2): Badilisha rekodi yoyote kuwa noti zinazoweza kukaguliwa na kuhaririwa; hii ndiyo njia ya kuanzia kwa uimbaji upya na uhariri.
Uelewa wa muziki (MERT2): Hutoa uwakilishi wa muziki wa wimbo mzima unaosaidia kazi za chini kama vile kubadilisha sauti kuwa noti; yenyewe pia ilipata SOTA katika vipengele 14 kati ya 15 vya kipimo cha MARBLE.

Fuata WeChat na ujibu “开源” ili kujiunga na kundi la mawasiliano la miradi huria ya AI
Tabaka la kati la upangaji wa kiishara: Muundo mkuu wa YuE2 unaweka noti za muziki za kiishara zilizo wazi (noti za ABC zenye melodia na akodi) kati ya masharti ya maandishi/sauti na mawimbi ya mwisho. Noti hizi ni kiolesura cha “sanduku jeupe”: zinaweza kusomwa na kuhaririwa na mtu au Agent, na pia huamua muundo wa uzalishaji wa sauti unaofuata. Hivyo, uundaji hubadilika kutoka “kuchota bahati nasibu” kwenye sanduku jeusi kuwa mchakato unaodhibitika wa utungaji wa muziki.
Muundo mseto wa wataalamu wa AR–NAR: Modeli hutumia kiunzi kimoja cha Mixture-of-Transformers. Mtaalamu wa AR hutumia umakini wa kisababishi kutabiri tokeni za noti na tokeni za kisemantiki kwa kujirudia, na kuhakikisha muundo wa muziki unaendana na mashairi. Mtaalamu wa NAR hutumia umakini wa pande mbili kutabiri latent za akustika kwa flow matching (25 Hz × 64), na kuhakikisha ubora wa sauti. Aina hizi mbili za wataalamu hushiriki tabaka za umakini binafsi mseto na FFN, na kushughulikia upangaji na uwasilishaji ndani ya checkpoint moja.
Msururu wa uzalishaji wa sauti wa VAE: Latent za akustika zinazotolewa na mtaalamu wa NAR hupitishwa kwenye dekoda ya VAE na kurejeshwa kuwa sauti ya stereo ya 48 kHz bila upotevu wa ujanibishaji. Wakati wa mafunzo, moduli za nje ya mtandao huunda malengo: SheetSage2 hutoa noti kutoka kwa sauti, MERT2+CVQ huzalisha malengo ya tokeni za kisemantiki, na enkoda ya VAE huzalisha malengo ya latent.
Njia tatu zikiwa na uzani uleule: Uundaji, uimbaji upya na uhariri hutumia checkpoint moja ya uzalishaji. Tofauti pekee ni chanzo cha noti: zinazalishwa na modeli, zinanukuliwa na SheetSage2, au zinabadilishwa na mtu/Agent. Wakati wa uimbaji upya, hali ya “melodia pekee” hutumiwa ili usindikizaji ujibadilishe kwa uhuru kulingana na mtindo mpya.
API ya uelekezaji kwa hatua: Uelekezaji umegawanywa katika hatua nne: plan() → generate_semantic() → synthesize() → decode(). Noti, tokeni za kisemantiki, latent za akustika na vigezo vya uzalishaji huhifadhiwa kwenye diski. Mtumiaji anaweza kuingilia kati katika hatua yoyote: kuhamisha noti, kuzihariri na kuzitoa tena, au kutumia tena plan iliyozalishwa na kubadilisha dekoda pekee, hivyo kupata unyumbufu na uwezekano wa kurudia matokeo.

Maandalizi ya mazingira: Unahitaji mfumo wa Linux, Python 3.12 na NVIDIA GPU yenye uwezo wa BF16. Uzani wa modeli utapakuliwa kiotomatiki kutoka Hugging Face wakati wa uendeshaji wa kwanza.
Usakinishaji na uendeshaji: Baada ya kuendesha git clone ya hazina, tengeneza mazingira pepe na utekeleze pip install . ili kukamilisha usakinishaji.
Kuzalisha wimbo wa kwanza kwa haraka: Endesha python examples/generate.py --output outputs/first-song ili kuzalisha wimbo kutoka kwa mfano uliojumuishwa. Saraka ya matokeo huwa na sauti (flac), noti na bidhaa zote za kati.
Kuita Python API: Pakia pipeline kupitia YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B"), kisha pitisha mtindo na mashairi ili kuzalisha wimbo. Kigezo cha cot hudhibiti hali: "full" huzalisha noti zinazoweza kuhaririwa (chaguo-msingi), "melody" hupanga melodia pekee, na "off" huzalisha moja kwa moja.
Kufanya uimbaji upya wa wimbo: Kwanza tumia SheetSage2 kubadilisha rekodi ya wimbo wa awali kuwa noti za ABC za melodia, kisha pitisha mashairi mapya au mtindo unaolengwa kwa cot="melody" ili kuzalisha upya.
Kuhariri kazi iliyopo: Tumia pipe.plan() kuhamisha noti, zihariri kwa mkono au mwombe Agent abadilishe faili ya ABC, kisha tumia --abc-file edited.abc --cot full kutoa toleo jipya.
Matumizi ya Agent skill: Ingiza skills/yue2-music/ kutoka kwenye hazina kwenye Agent inayounga mkono SKILL.md, kisha tumia mazungumzo ya kawaida kuandika nyimbo, kubadilisha sauti kuwa noti, kuhariri noti na kulinganisha matoleo.

Ubora unaolingana na modeli za kibiashara: Kwenye WildSongBench, SongBench Avg ilifikia 6.9632 (best-of-8), ikizidi bidhaa za kibiashara kama Suno v5 na Mureka 9 na kuweka kiwango kipya cha uzalishaji wa muziki huria.
Uundaji unaodhibitika wa sanduku jeupe: Msururu wa “upangaji wa kiishara” huonyesha melodia na akodi wazi katika mfumo wa noti za ABC, hivyo mtu na Agent wanaweza kusoma na kuhariri kazi kabla ya kuitoa.
Uzani mmoja kwa hali tatu: Uundaji, uimbaji upya bila sampuli za mafunzo na uhariri wa mazungumzo hutumia checkpoint moja. Uimbaji upya hauhitaji marekebisho maalum ya mafunzo na hufikia 0.647 CLEWS mAP katika kuhifadhi wimbo wa chanzo.
Programu huria kabisa ya ndani: Msimbo unafuata Apache 2.0, uzani wa 3.6B unapatikana kwa kupakuliwa, na unaweza kuendeshwa nje ya mtandao kwa kadi moja yenye kumbukumbu ya 24GB bila data kuondoka kwenye kompyuta.
Ikolojia kamili ya zana: SheetSage2 ya kubadilisha sauti kuwa noti, modeli ya uelewa wa MERT2, seti ya tathmini ya WildSongBench na Agent skill ya yue2-music vimetolewa kama programu huria, vikifunika mnyororo mzima wa “kubadilisha sauti kuwa noti → kuunda → kuhariri → kutathmini”.
Uwezo wa kuingilia kati kwa hatua: API ya hatua nne plan() → generate_semantic() → synthesize() → decode() huhifadhi noti, tokeni za kisemantiki na latent zote kwenye diski, na inaunga mkono kutumia tena mpango au kubadilisha dekoda katikati.

Tovuti rasmi ya mradi: https://map-yue2.github.io/
Hazina ya GitHub: https://github.com/multimodal-art-projection/YuE

Uundaji wa muziki binafsi: Hata watu wasiojua kutunga au kupanga muziki wanaweza kuingiza mashairi + mtindo na kupata wimbo, kisha kurekebisha mwelekeo wa melodia kwa kuhariri noti ili kubadilisha “msukumo” kuwa kazi kamili.
Uimbaji upya na uundaji wa matoleo mapya: Tumia SheetSage2 kubadilisha wimbo wa awali kuwa noti, kisha ubadilishe wimbo huo mara moja kuwa mtindo mpya kama jazz au rock, au ubadilishe mashairi ili kuunda matoleo ya lugha nyingi kwa mahitaji ya kazi za mashabiki na video fupi.
Demo za muziki wa filamu, michezo na matangazo: Watayarishaji wanaweza kuzalisha kwa haraka muziki mbadala wenye sauti au usindikizaji pekee, kujaribu kwa gharama ndogo kabla ya kuamua kumwajiri mtayarishaji halisi, na kupunguza kwa kiasi kikubwa gharama ya mawasiliano ya awali.
Elimu ya muziki na uchanganuzi wa upatanisho: Walimu wanaweza kuzalisha mifano ya nyimbo yenye mfuatano maalum wa akodi na muundo wa wimbo, huku wanafunzi wakitumia noti za ABC kujifunza mbinu za utungaji. Hii huunda mzunguko kamili wa ufundishaji wa “kusikia, kuona na kuhariri”.