YuE2 آپریشن میں

YuE2 ہانگ کانگ یونیورسٹی آف سائنس اینڈ ٹیکنالوجی اور M-A-P ٹیم کا اوپن سورس میوزک جنریشن ماڈل ہے۔ یہ ماڈل دھن اور طرز کے مطابق قابلِ ترمیم ABC نوٹیشن (دھن اور کورڈز) تیار کرتا ہے، پھر اسے 48kHz کے مکمل گانے میں رینڈر کرتا ہے، جس سے تخلیقی عمل شفاف اور قابلِ کنٹرول رہتا ہے۔ ماڈل ابتدا سے تخلیق، زیرو شاٹ کور اور Agent کے ذریعے مکالماتی انداز میں نوٹیشن کی تدوین کو سپورٹ کرتا ہے۔ WildSongBench بینچ مارک پر SongBench Avg نے 6.9632 حاصل کیے، جو Suno v5 جیسے تجارتی ماڈلز سے بہتر ہے۔

علامتی منصوبہ بندی کے ساتھ تخلیق: دھن اور طرز کے اشارے درج کریں؛ پہلے قابلِ ترمیم دھن اور کورڈز پر مشتمل ABC نوٹیشن تیار ہوگا، پھر اسے آواز اور ساز کے ساتھ مکمل گانے میں رینڈر کیا جائے گا۔
زیرو شاٹ کور: SheetSage2 کے ذریعے اصل ریکارڈنگ کو نوٹیشن میں منتقل کریں، پھر اسے نئے طرز یا نئی دھن کے ساتھ دوبارہ پیش کریں؛ کور کے لیے مخصوص فائن ٹیوننگ کی ضرورت نہیں۔
Agent کے ذریعے مکالماتی تدوین: نوٹیشن اور Agent کے ساتھ مکالمہ کرتے ہوئے ہارمنی، دھن، رفتار یا گانے کی ساخت تبدیل کریں اور نیا ورژن دوبارہ رینڈر کریں۔
آڈیو سے نوٹیشن (SheetSage2): کسی بھی ریکارڈنگ کو قابلِ معائنہ اور قابلِ ترمیم نوٹیشن میں منتقل کرتا ہے، جو کور اور تدوین کے افعال کا نقطۂ آغاز ہے۔
موسیقی کی تفہیم (MERT2): پورے گانے کی سطح کی موسیقیاتی نمائندگی فراہم کرتا ہے، جو نوٹیشن منتقلی جیسے ذیلی کاموں کو سپورٹ کرتی ہے؛ خود بھی MARBLE بینچ مارک کے 15 میں سے 14 کاموں میں SOTA حاصل کر چکا ہے۔

WeChat پر فالو کرکے “开源” کا جواب دیں اور AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
علامتی منصوبہ بندی کی درمیانی تہہ: YuE2 کا بنیادی ڈیزائن متن/آڈیو شرائط اور آخری ویوفارم کے درمیان واضح علامتی نوٹیشن (ABC نوٹیشن، جس میں دھن اور کورڈز شامل ہیں) کی ایک تہہ شامل کرتا ہے۔ نوٹیشن ایک ”شفاف“ انٹرفیس کے طور پر انسان یا Agent کے ذریعے پڑھی اور تبدیل کی جا سکتی ہے، جبکہ بعد کی صوتی تخلیق کی ساخت بھی اسی سے طے ہوتی ہے۔ اس طرح تخلیق بلیک باکس ”قرعہ اندازی“ کے بجائے قابلِ کنٹرول کمپوزیشن کا عمل بن جاتی ہے۔
AR–NAR مرکب ماہرین کا ڈھانچہ: ماڈل ایک واحد Mixture-of-Transformers بیک بون استعمال کرتا ہے۔ AR ماہر causal attention کے ذریعے نوٹیشن ٹوکن اور semantic token کی autoregressive پیش گوئی کرتا ہے، جس سے موسیقی کی ساخت اور دھن کی مطابقت برقرار رہتی ہے؛ NAR ماہر bidirectional attention کے ذریعے acoustic latent پر flow matching پیش گوئی کرتا ہے (25 Hz × 64)، جس سے آڈیو کا معیار برقرار رہتا ہے۔ دونوں ماہرین مشترکہ mixed self-attention تہوں اور FFN کا استعمال کرتے ہیں، اور ایک ہی checkpoint میں منصوبہ بندی اور رینڈرنگ کو یکجا کرتے ہیں۔
VAE صوتی تخلیق پائپ لائن: NAR ماہر کے تیار کردہ acoustic latent کو VAE decoder کے ذریعے 48 kHz stereo audio میں بحال کیا جاتا ہے، اور پورے عمل میں quantization loss نہیں ہوتا۔ تربیت کے دوران offline ماڈیول ہدف تیار کرتے ہیں: SheetSage2 آڈیو سے نوٹیشن ہدف نکالتا ہے، MERT2+CVQ semantic token ہدف تیار کرتے ہیں، اور VAE encoder latent ہدف تیار کرتا ہے۔
تینوں موڈ ایک ہی وزن میں متحد: تخلیق، کور اور تدوین ایک ہی generation checkpoint استعمال کرتے ہیں۔ فرق صرف نوٹیشن کے ماخذ کا ہے: یہ بالترتیب ماڈل خود تیار کرتا ہے، SheetSage2 سے منتقل ہوتی ہے، یا انسان/Agent کی ترمیم کے بعد فراہم کی جاتی ہے۔ کور کے دوران ”صرف دھن“ موڈ استعمال کیا جاتا ہے، تاکہ ساز نئے طرز کے مطابق آزادانہ طور پر ڈھل سکے۔
مرحلہ وار inference API: inference کو plan() → generate_semantic() → synthesize() → decode() کے چار مراحل میں تقسیم کیا گیا ہے۔ نوٹیشن، semantic token، acoustic latent اور generation parameters سب ڈسک پر محفوظ رہتے ہیں۔ صارف کسی بھی مرحلے میں مداخلت کر سکتا ہے: نوٹیشن برآمد کرکے ترمیم کے بعد دوبارہ رینڈر کریں، یا پہلے سے تیار شدہ plan کو استعمال کرتے ہوئے صرف decoder تبدیل کریں، جس سے لچک اور قابلِ تکرار نتائج دونوں حاصل ہوتے ہیں۔

ماحول کی تیاری: Linux سسٹم، Python 3.12 اور BF16 کو سپورٹ کرنے والا NVIDIA GPU درکار ہے۔ پہلی بار چلانے پر ماڈل کے وزن خودکار طور پر Hugging Face سے ڈاؤن لوڈ ہو جائیں گے۔
تنصیب اور تعیناتی: repository کو git clone کرنے کے بعد virtual environment بنائیں اور pip install . چلائیں، تنصیب مکمل ہو جائے گی۔
پہلا گانا تیزی سے بنائیں: python examples/generate.py --output outputs/first-song چلائیں۔ built-in مثال سے گانا تیار ہوگا، اور output directory میں آڈیو (flac)، نوٹیشن اور تمام درمیانی نتائج شامل ہوں گے۔
Python API کال: YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B") کے ذریعے pipeline لوڈ کریں اور طرز و دھن فراہم کرکے گانا تیار کریں۔ cot پیرامیٹر موڈ کنٹرول کرتا ہے: "full" قابلِ ترمیم نوٹیشن تیار کرتا ہے (default)، "melody" صرف دھن کی منصوبہ بندی کرتا ہے، جبکہ "off" براہِ راست تخلیق کرتا ہے۔
گانے کا کور بنائیں: پہلے SheetSage2 کے ذریعے اصل ریکارڈنگ کو melody ABC نوٹیشن میں منتقل کریں، پھر cot="melody" کے ساتھ نئی دھن یا مطلوبہ طرز فراہم کرکے دوبارہ تخلیق کریں۔
موجودہ تخلیق میں ترمیم: pipe.plan() کال کرکے نوٹیشن برآمد کریں، ABC فائل کو خود یا Agent کے ذریعے تبدیل کریں، پھر --abc-file edited.abc --cot full کے ساتھ نیا ورژن دوبارہ رینڈر کریں۔
Agent skill کا استعمال: repository میں موجود skills/yue2-music/ کو SKILL.md سپورٹ کرنے والے Agent میں درآمد کریں، پھر قدرتی مکالمے کے ذریعے گانا لکھنے، نوٹیشن منتقل کرنے، نوٹیشن میں ترمیم کرنے اور ورژنز کا موازنہ کرنے کے کام مکمل کریں۔

تجارتی ماڈلز کے برابر معیار: WildSongBench پر SongBench Avg نے 6.9632 حاصل کیے (best-of-8)، جو Suno v5، Mureka 9 اور دیگر تجارتی مصنوعات سے بہتر ہے، اور اوپن سورس میوزک جنریشن کی حد کو آگے بڑھاتا ہے۔
شفاف اور قابلِ کنٹرول تخلیق: ”علامتی منصوبہ بندی“ پائپ لائن میں دھن اور کورڈز واضح طور پر ABC نوٹیشن میں پیش کیے جاتے ہیں، لہٰذا انسان اور Agent دونوں رینڈرنگ سے پہلے تخلیق کو پڑھ اور تبدیل کر سکتے ہیں۔
تینوں موڈ کے لیے متحدہ وزن: تخلیق، زیرو شاٹ کور اور مکالماتی تدوین ایک ہی checkpoint استعمال کرتے ہیں۔ کور کے لیے خصوصی فائن ٹیوننگ کے بغیر اصل گانے کی 0.647 CLEWS mAP کی مطابقت حاصل ہوتی ہے۔
مکمل طور پر مقامی اوپن سورس: کوڈ Apache 2.0 کے تحت ہے، 3.6B weights ڈاؤن لوڈ کے لیے دستیاب ہیں، اور صرف 24GB VRAM والے ایک GPU پر offline چل سکتے ہیں؛ ڈیٹا مقامی مشین سے باہر نہیں جاتا۔
مکمل ماحولیاتی معاونت: SheetSage2 نوٹیشن ٹرانسکرپشن، MERT2 تفہیمی ماڈل، WildSongBench evaluation set اور yue2-music Agent skill بھی اوپن سورس ہیں، جو ”نوٹیشن منتقلی → تخلیق → تدوین → جانچ“ کے مکمل عمل کا احاطہ کرتے ہیں۔
مرحلہ وار مداخلت: plan() → generate_semantic() → synthesize() → decode() چار مرحلوں پر مشتمل API میں نوٹیشن، semantic token اور latent سب ڈسک پر محفوظ ہوتے ہیں، اور منصوبہ دوبارہ استعمال کرنے یا دورانِ عمل decoder تبدیل کرنے کی سہولت موجود ہے۔

پروجیکٹ کی آفیشل ویب سائٹ：https://map-yue2.github.io/
GitHub repository：https://github.com/multimodal-art-projection/YuE

ذاتی موسیقی کی تخلیق: جن افراد کو کمپوزیشن یا ارینجمنٹ نہیں آتی، وہ دھن اور طرز درج کرکے گانا تیار کر سکتے ہیں۔ نوٹیشن میں ترمیم کے ذریعے دھن کی سمت کو باریک بینی سے ایڈجسٹ کیا جا سکتا ہے، اور ”خیال“ کو مکمل تخلیق میں بدلا جا سکتا ہے۔
کور اور ثانوی تخلیق: SheetSage2 کے ذریعے اصل گانے کو نوٹیشن میں منتقل کرنے کے بعد اسے ایک کلک سے جاز، راک اور دیگر نئے طرزوں میں ڈھالیں، یا دھن تبدیل کرکے کثیر لسانی ورژن بنائیں؛ یہ مداحوں کی ثانوی تخلیق اور مختصر ویڈیو کی موافقت کی ضروریات کے لیے موزوں ہے۔
فلم / گیم / اشتہاری موسیقی کا Demo: پروڈیوسر آواز یا صرف ساز کے ساتھ امیدوار موسیقی تیزی سے تیار کر سکتے ہیں، کم لاگت پر تجربہ کرنے کے بعد فیصلہ کر سکتے ہیں کہ انسانی ماہر کی خدمات لینی ہیں یا نہیں، جس سے ابتدائی رابطہ کاری کی لاگت نمایاں طور پر کم ہوتی ہے۔
موسیقی کی تعلیم اور ہارمنی کا تجزیہ: اساتذہ مخصوص کورڈ پروگریشن اور گانے کی ساخت والی مثالیں تیار کر سکتے ہیں، جبکہ طلبہ ABC نوٹیشن کے ساتھ کمپوزیشن کی تکنیک سیکھ سکتے ہیں، یوں ”سن سکیں، دیکھ سکیں، تبدیل کر سکیں“ پر مبنی تدریسی عمل مکمل ہوتا ہے۔