YuE2 Faoliyat yuritmoqda

YuE2 Gonkong Fan va Texnologiyalar universiteti hamda M-A-P jamoasi tomonidan ochiq manba sifatida taqdim etilgan musiqa yaratish modelidir. Model qo‘shiq matni va uslub asosida tahrirlash mumkin bo‘lgan ABC notalarini (melodiya + akkordlar) yaratadi, so‘ng ularni 48kHz to‘liq qo‘shiqqa aylantiradi va ijodiy jarayonni shaffof hamda boshqariladigan qiladi. Model noldan ijod qilish, zero-shot cover va Agent bilan dialog orqali notalarni tahrirlashni qo‘llab-quvvatlaydi. WildSongBench mezonida SongBench Avg 6.9632 natijasini qayd etib, Suno v5 kabi tijoriy modellardan o‘zib ketadi.

Simvolik rejalashtirish asosida ijod: qo‘shiq matni va uslub ko‘rsatmalarini kiriting, avval tahrirlash mumkin bo‘lgan melodiya + akkordlardan iborat ABC notalari yaratiladi, keyin vokal va jo‘rlikdan iborat to‘liq qo‘shiqqa aylantiriladi.
Zero-shot cover: SheetSage2 yordamida original qo‘shiq yozuvini notalarga transkripsiya qiling, so‘ng uni yangi uslub yoki yangi matn bilan qayta talqin qiling; cover vazifasi uchun qo‘shimcha fine-tuning talab qilinmaydi.
Agent bilan dialog orqali tahrirlash: notalar va Agent bilan muloqot qilib, garmoniya, melodiya, temp yoki musiqa shaklini o‘zgartiring va yangi versiyani qayta yarating.
Audioni notalarga aylantirish (SheetSage2): istalgan yozuvni ko‘rib chiqish va tahrirlash mumkin bo‘lgan notalarga transkripsiya qiladi; bu cover va tahrirlash funksiyalarining kirish nuqtasidir.
Musiqani tushunish (MERT2): to‘liq qo‘shiq darajasida musiqiy tasvirlarni taqdim etib, notalarga transkripsiya kabi quyi vazifalarni qo‘llab-quvvatlaydi; o‘zi ham MARBLE mezonidagi 15 yo‘nalishdan 14 tasida SOTA natijasini olgan.

WeChat’da kuzatib boring va “开源” deb javob yuborib, AI ochiq manba loyihalari guruhiga qo‘shiling
Simvolik rejalashtirishning oraliq qatlami: YuE2 ning asosiy dizayni matn/audio shartlari va yakuniy to‘lqin shakli orasiga aniq simvolik nota qatlamini (ABC nota yozuvi, melodiya va akkordlar bilan) joylashtiradi. Notalar “shaffof” interfeys sifatida inson yoki Agent tomonidan o‘qilishi va o‘zgartirilishi mumkin, shu bilan birga keyingi akustik generatsiya tuzilmasini belgilaydi. Natijada ijod qora quti “tasodifiy tanlash” jarayonidan boshqariladigan kompozitsiya jarayoniga aylanadi.
AR–NAR aralash ekspertlar arxitekturasi: model yagona Mixture-of-Transformers skeletidan foydalanadi: AR eksperti sababiy diqqat mexanizmi orqali nota tokenlari va semantik tokenlarni autoregressiv bashorat qilib, musiqa tuzilmasi va qo‘shiq matni mosligini ta’minlaydi; NAR eksperti esa ikki yo‘nalishli diqqat yordamida akustik latent uchun flow matching bashoratini amalga oshiradi (25 Hz × 64), shu orqali audio sifatini ta’minlaydi. Ikki turdagi ekspert aralash o‘z-o‘ziga diqqat qatlamlari va FFN ni bo‘lishib ishlatadi hamda bitta checkpoint ichida rejalashtirish va renderlashni yagona tarzda qayta ishlaydi.
VAE akustik generatsiya quvuri: NAR eksperti chiqargan akustik latent VAE dekoderi orqali 48 kHz stereo audioda qayta tiklanadi; butun jarayonda kvantlash yo‘qotishi kuzatilmaydi. Trening vaqtida maqsadlar oflayn modullar tomonidan yaratiladi: SheetSage2 audiodan nota maqsadini ajratib oladi, MERT2+CVQ semantik token maqsadini hosil qiladi, VAE enkoderi esa latent maqsadini yaratadi.
Uch rejim yagona og‘irliklarda birlashtirilgan: ijod, cover va tahrirlash bir xil generatsiya checkpointidan foydalanadi; yagona farq notalarning manbasida: ular mos ravishda model tomonidan avtomatik yaratiladi, SheetSage2 orqali transkripsiya qilinadi yoki inson/Agent tomonidan o‘zgartirilib taqdim etiladi. Cover vaqtida “faqat melodiya” rejimiga o‘tiladi, shunda jo‘rlik yangi uslubga erkin moslashadi.
Bosqichma-bosqich inference API: inference plan() → generate_semantic() → synthesize() → decode() nomli to‘rt bosqichga ajratilgan; notalar, semantik tokenlar, akustik latent va generatsiya parametrlari diskda saqlanadi. Foydalanuvchi istalgan bosqichda jarayonga aralashishi mumkin: notalarni eksport qilib tahrirlash va qayta renderlash yoki avval yaratilgan plan’dan foydalanib faqat dekoderni almashtirish. Bu moslashuvchanlik va qayta tiklanish imkonini birlashtiradi.

Muhitni tayyorlash: Linux tizimi, Python 3.12 va BF16 ni qo‘llab-quvvatlaydigan NVIDIA GPU kerak; model og‘irliklari birinchi ishga tushirilganda Hugging Face’dan avtomatik yuklab olinadi.
O‘rnatish va deploy: repository’ni git clone qilgach, virtual muhit yarating va o‘rnatishni yakunlash uchun pip install . buyrug‘ini bajaring.
Birinchi qo‘shiqni tez yaratish: python examples/generate.py --output outputs/first-song buyrug‘ini ishga tushiring. Ichki namunadan qo‘shiq yaratiladi, chiqish katalogida audio (flac), notalar va barcha oraliq natijalar bo‘ladi.
Python API orqali chaqirish: YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B") yordamida quvurni yuklang va uslub hamda qo‘shiq matnini kiriting; cot parametri rejimni boshqaradi: "full" tahrirlash mumkin bo‘lgan notalarni yaratadi (standart), "melody" faqat melodiya rejasini tuzadi, "off" esa to‘g‘ridan-to‘g‘ri generatsiya qiladi.
Qo‘shiqni cover qilish: avval SheetSage2 yordamida original yozuvni melodiya ABC notasiga transkripsiya qiling, keyin cot="melody" orqali yangi matn yoki maqsadli uslubni kiritib, qayta yarating.
Mavjud asarni tahrirlash: pipe.plan() ni chaqirib notalarni eksport qiling, ABC faylini qo‘lda yoki Agent yordamida o‘zgartiring, so‘ng --abc-file edited.abc --cot full parametrlari bilan yangi versiyani qayta renderlang.
Agent skill’dan foydalanish: repository ichidagi skills/yue2-music/ katalogini SKILL.md faylini qo‘llab-quvvatlaydigan Agent’ga import qiling. Shundan so‘ng tabiiy muloqot orqali qo‘shiq yozish, notalarga transkripsiya qilish, notalarni tahrirlash va versiyalarni taqqoslash mumkin.

Sifat bo‘yicha tijoriy modellar bilan teng: WildSongBench’da SongBench Avg 6.9632 (best-of-8) natijasini qayd etib, Suno v5, Mureka 9 kabi tijoriy mahsulotlardan o‘zib ketadi va ochiq manbali musiqa generatsiyasi chegarasini yangilaydi.
Shaffof va boshqariladigan ijod: “simvolik rejalashtirish” quvurining ilk namunasi bo‘lib, melodiya va akkordlar ABC notalari ko‘rinishida aniq taqdim etiladi; inson va Agent renderlashdan oldin asarni o‘qishi hamda o‘zgartirishi mumkin.
Uch rejim yagona og‘irliklarda: ijod, zero-shot cover va dialog orqali tahrirlash bitta checkpoint’dan foydalanadi; cover uchun maxsus fine-tuning talab qilinmaydi va manba qo‘shiqni saqlash darajasi 0.647 CLEWS mAP ga yetadi.
To‘liq mahalliy ochiq manba: kod Apache 2.0 litsenziyasiga amal qiladi, 3.6B og‘irliklar yuklab olish uchun ochiq, 24GB videoxotirali bitta karta oflayn ishlash uchun yetarli va ma’lumotlar qurilmadan tashqariga chiqmaydi.
To‘liq ekotizim: SheetSage2 notalarga transkripsiya modeli, MERT2 tushunish modeli, WildSongBench baholash to‘plami va yue2-music Agent skill birgalikda ochiq manbaga chiqarilgan; “transkripsiya → ijod → tahrirlash → baholash” jarayonining to‘liq zanjiri qamrab olinadi.
Bosqichma-bosqich aralashish: plan() → generate_semantic() → synthesize() → decode() to‘rt bosqichli API orqali notalar, semantik tokenlar va latent to‘liq diskda saqlanadi; rejani qayta ishlatish va jarayon o‘rtasida dekoderni almashtirish mumkin.

Loyiha rasmiy sayti: https://map-yue2.github.io/
GitHub repository: https://github.com/multimodal-art-projection/YuE

Shaxsiy musiqa ijodi: kompozitsiya va aranjirovka qilishni bilmaydigan foydalanuvchi qo‘shiq matni + uslubni kiritib, tayyor qo‘shiq olishi mumkin; nota yo‘nalishini o‘zgartirish orqali melodiyani nozik sozlab, “ilhom”ni to‘liq asarga aylantiradi.
Cover va ikkilamchi ijod: SheetSage2 yordamida original qo‘shiqni notalarga aylantirgach, uni bir marta bosish bilan jazz, rok kabi yangi uslublarga moslashtirish yoki matnni almashtirib, ko‘p tilli versiyalar yaratish mumkin. Bu muxlislarning ikkilamchi ijodi va qisqa videolar uchun moslashtirish ehtiyojlariga javob beradi.
Kino / o‘yin / reklama musiqasi demosi: prodyuserlar vokalli yoki faqat jo‘rlikdan iborat nomzod musiqalarni tez yaratishi, arzon sinovlardan so‘ng haqiqiy mutaxassisni jalb qilish yoki qilmaslik haqida qaror qabul qilishi mumkin. Bu dastlabki muvofiqlashtirish xarajatlarini sezilarli qisqartiradi.
Musiqa ta’limi va garmoniya tahlili: o‘qituvchi muayyan akkord yo‘nalishi va musiqa shakliga ega namunaviy asarlarni yaratadi, o‘quvchilar esa ABC notalariga qarab kompozitsiya usullarini o‘rganadi. Natijada “eshitish, ko‘rish va o‘zgartirish mumkin” bo‘lgan ta’lim sikli yuzaga keladi.