YuE2 চালু আছে

YuE2 হলো হংকং ইউনিভার্সিটি অব সায়েন্স অ্যান্ড টেকনোলজি এবং M-A-P দলের ওপেন-সোর্স করা একটি সঙ্গীত জেনারেশন মডেল। এটি গানের কথা ও শৈলীর ভিত্তিতে সম্পাদনাযোগ্য ABC নোটেশন (সুর+কর্ড) তৈরি করে, এরপর 48kHz পূর্ণাঙ্গ গানে রেন্ডার করে, ফলে সৃষ্টির প্রক্রিয়া স্বচ্ছ ও নিয়ন্ত্রণযোগ্য থাকে। মডেলটি শূন্য থেকে গান তৈরি, জিরো-শট কভার এবং Agent-এর সঙ্গে কথোপকথনের মাধ্যমে নোটেশন সম্পাদন সমর্থন করে। WildSongBench বেঞ্চমার্কে SongBench Avg 6.9632 পেয়ে এটি Suno v5-এর মতো বাণিজ্যিক মডেলকেও ছাড়িয়ে গেছে।

প্রতীকভিত্তিক পরিকল্পনা ও সৃষ্টি: গানের কথা এবং শৈলীর প্রম্পট দিলে প্রথমে সম্পাদনাযোগ্য সুর+কর্ডের ABC নোটেশন তৈরি হয়, এরপর কণ্ঠ ও বাদ্যযন্ত্রসহ পূর্ণাঙ্গ গানে রেন্ডার করা হয়।
জিরো-শট কভার: SheetSage2 ব্যবহার করে মূল গানের রেকর্ডিংকে নোটেশনে রূপান্তর করুন, এরপর নতুন শৈলী বা নতুন গানের কথায় পুনরায় পরিবেশন করুন; কভার কাজের জন্য আলাদা ফাইন-টিউনিং প্রয়োজন নেই।
Agent-এর সঙ্গে কথোপকথনভিত্তিক সম্পাদনা: নোটেশন ও Agent-এর সঙ্গে সংলাপের মাধ্যমে হারমনি, সুর, গতি বা গঠনে পরিবর্তন করে নতুন সংস্করণ রেন্ডার করুন।
অডিও-টু-নোটেশন (SheetSage2): যেকোনো রেকর্ডিংকে পর্যালোচনাযোগ্য ও সম্পাদনাযোগ্য নোটেশনে রূপান্তর করে; এটি কভার ও সম্পাদনা ফিচারের প্রবেশদ্বার।
সঙ্গীত বোঝাপড়া (MERT2): পূর্ণাঙ্গ গানের স্তরের সঙ্গীত উপস্থাপনা প্রদান করে এবং নোটেশনে রূপান্তরের মতো ডাউনস্ট্রিম কাজকে সহায়তা করে। MARBLE বেঞ্চমার্কের 15টি কাজের মধ্যে 14টিতে এটি SOTA অর্জন করেছে।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের আলোচনা গ্রুপে যোগ দিন
প্রতীকভিত্তিক পরিকল্পনার মধ্যবর্তী স্তর: YuE2-এর মূল নকশায় টেক্সট/অডিও কন্ডিশন এবং চূড়ান্ত waveform-এর মধ্যে একটি স্পষ্ট প্রতীকভিত্তিক সঙ্গীত নোটেশন স্তর (ABC নোটেশন, যাতে সুর ও কর্ড থাকে) যুক্ত করা হয়েছে। নোটেশনটি একটি “স্বচ্ছ” ইন্টারফেস হিসেবে মানুষ বা Agent পড়তে ও সম্পাদনা করতে পারে এবং পরবর্তী অডিও জেনারেশনের কাঠামো নির্ধারণ করে। ফলে সৃষ্টি প্রক্রিয়া ব্ল্যাক-বক্স “অনুমাননির্ভর” পদ্ধতি থেকে নিয়ন্ত্রণযোগ্য কম্পোজিশন প্রক্রিয়ায় রূপ নেয়।
AR–NAR মিশ্র বিশেষজ্ঞ আর্কিটেকচার: মডেলটি একক Mixture-of-Transformers backbone ব্যবহার করে। AR বিশেষজ্ঞ causal attention-এর মাধ্যমে নোটেশন token ও semantic token autoregressive পদ্ধতিতে পূর্বাভাস দেয়, যা সঙ্গীতের কাঠামো ও গানের কথার সামঞ্জস্য বজায় রাখে; NAR বিশেষজ্ঞ bidirectional attention ব্যবহার করে acoustic latent-এর ওপর flow matching পূর্বাভাস দেয় (25 Hz × 64), যা অডিওর মান নিশ্চিত করে। দুই ধরনের বিশেষজ্ঞ mixed self-attention layer ও FFN ভাগাভাগি করে এবং একই checkpoint-এর মধ্যে পরিকল্পনা ও রেন্ডারিং একীভূতভাবে সম্পন্ন করে।
VAE অডিও জেনারেশন পাইপলাইন: NAR বিশেষজ্ঞের তৈরি acoustic latent, VAE decoder-এর মাধ্যমে 48 kHz stereo audio-তে পুনর্গঠিত হয়; পুরো প্রক্রিয়ায় quantization loss নেই। প্রশিক্ষণের সময় offline module লক্ষ্য তৈরি করে: SheetSage2 অডিও থেকে নোটেশনের লক্ষ্য বের করে, MERT2+CVQ semantic token-এর লক্ষ্য তৈরি করে এবং VAE encoder latent-এর লক্ষ্য তৈরি করে।
একই weight-এ তিন মোড: সৃষ্টি, কভার এবং সম্পাদনা একই generation checkpoint ব্যবহার করে। পার্থক্য শুধু নোটেশনের উৎসে: তা যথাক্রমে মডেল নিজে তৈরি করে, SheetSage2 রূপান্তর করে, অথবা মানুষ/Agent সম্পাদনা করে দেয়। কভারের সময় “শুধু সুর” মোড ব্যবহার করা হয়, যাতে বাদ্যযন্ত্রের অংশ নতুন শৈলীর সঙ্গে স্বাধীনভাবে মানিয়ে নিতে পারে।
পর্যায়ভিত্তিক inference API: inference-কে plan() → generate_semantic() → synthesize() → decode() চারটি পর্যায়ে ভাগ করা হয়েছে। নোটেশন, semantic token, acoustic latent এবং generation parameter সবই সংরক্ষণ করা হয়। ব্যবহারকারী যেকোনো পর্যায়ে হস্তক্ষেপ করতে পারেন: নোটেশন রপ্তানি করে সম্পাদনার পর পুনরায় রেন্ডার করা যায়, অথবা তৈরি করা plan পুনর্ব্যবহার করে শুধু decoder পরিবর্তন করা যায়। এতে নমনীয়তা ও পুনরুৎপাদনযোগ্যতা দুটিই বজায় থাকে।

পরিবেশ প্রস্তুতি: Linux সিস্টেম, Python 3.12 এবং BF16 সমর্থনকারী একটি NVIDIA GPU প্রয়োজন। প্রথমবার চালানোর সময় মডেলের weight স্বয়ংক্রিয়ভাবে Hugging Face থেকে ডাউনলোড হবে।
ইনস্টল ও ডিপ্লয়: git clone করার পর virtual environment তৈরি করে pip install . চালালেই ইনস্টলেশন সম্পন্ন হবে।
প্রথম গান দ্রুত তৈরি: python examples/generate.py --output outputs/first-song চালান। বিল্ট-ইন উদাহরণ থেকে গান তৈরি হবে এবং output directory-তে audio (flac), নোটেশন ও সব মধ্যবর্তী ফলাফল থাকবে।
Python API ব্যবহার: YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B") দিয়ে pipeline লোড করে শৈলী ও গানের কথা পাঠালেই গান তৈরি করা যায়। cot parameter মোড নিয়ন্ত্রণ করে: "full" সম্পাদনাযোগ্য নোটেশন তৈরি করে (ডিফল্ট), "melody" শুধু সুরের পরিকল্পনা করে এবং "off" সরাসরি গান তৈরি করে।
একটি গান কভার: প্রথমে SheetSage2 দিয়ে মূল রেকর্ডিংকে melody ABC নোটেশনে রূপান্তর করুন, এরপর cot="melody" ব্যবহার করে নতুন গানের কথা বা লক্ষ্য শৈলী পাঠিয়ে পুনরায় তৈরি করুন।
বিদ্যমান কাজ সম্পাদনা: pipe.plan() কল করে নোটেশন রপ্তানি করুন, মানুষ বা Agent দিয়ে ABC ফাইল সম্পাদনা করার পর --abc-file edited.abc --cot full ব্যবহার করে নতুন সংস্করণ রেন্ডার করুন।
Agent skill ব্যবহার: repository-এর skills/yue2-music/ এমন কোনো Agent-এ ইমপোর্ট করুন যা SKILL.md সমর্থন করে। এরপর স্বাভাবিক কথোপকথনের মাধ্যমে গান লেখা, নোটেশনে রূপান্তর, নোটেশন সম্পাদনা ও সংস্করণ তুলনা করা যাবে।

বাণিজ্যিক মডেলের সমমানের মান: WildSongBench-এ SongBench Avg 6.9632 (best-of-8) অর্জন করে Suno v5, Mureka 9-এর মতো বাণিজ্যিক পণ্যকে ছাড়িয়ে গেছে এবং ওপেন-সোর্স সঙ্গীত জেনারেশনের মানদণ্ড নতুন উচ্চতায় নিয়েছে।
স্বচ্ছ ও নিয়ন্ত্রণযোগ্য সৃষ্টি: “প্রতীকভিত্তিক পরিকল্পনা” পাইপলাইনের মাধ্যমে সুর ও কর্ড ABC নোটেশন হিসেবে স্পষ্টভাবে দেখানো হয়। রেন্ডারিংয়ের আগে মানুষ ও Agent উভয়েই কাজটি পড়তে ও সম্পাদনা করতে পারে।
একই weight-এ তিন মোড: সৃষ্টি, জিরো-শট কভার ও কথোপকথনভিত্তিক সম্পাদনা একই checkpoint ব্যবহার করে। কভারের জন্য বিশেষ ফাইন-টিউনিং ছাড়াই 0.647 CLEWS mAP-এর source-song retention অর্জন করা যায়।
সম্পূর্ণ স্থানীয় ওপেন সোর্স: কোড Apache 2.0 লাইসেন্স অনুসরণ করে, 3.6B weight ডাউনলোডের জন্য উন্মুক্ত এবং 24GB VRAM-সহ একক GPU-তে অফলাইনে চালানো যায়; ডেটা মেশিনের বাইরে যায় না।
সম্পূর্ণ ইকোসিস্টেম: SheetSage2 নোটেশন রূপান্তর, MERT2 বোঝাপড়া মডেল, WildSongBench evaluation set এবং yue2-music Agent skill একসঙ্গে ওপেন সোর্স করা হয়েছে, যা “নোটেশনে রূপান্তর→সৃষ্টি→সম্পাদনা→মূল্যায়ন” সম্পূর্ণ workflow কভার করে।
পর্যায়ভিত্তিক হস্তক্ষেপ: plan() → generate_semantic() → synthesize() → decode() চার-পর্যায়ের API-তে নোটেশন, semantic token ও latent সব সংরক্ষিত থাকে; plan পুনর্ব্যবহার এবং মাঝপথে decoder পরিবর্তন সমর্থিত।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://map-yue2.github.io/
GitHub repository: https://github.com/multimodal-art-projection/YuE

ব্যক্তিগত সঙ্গীত সৃষ্টি: কম্পোজিশন বা অ্যারেঞ্জমেন্ট না জানলেও সাধারণ ব্যবহারকারী গানের কথা ও শৈলী দিলেই গান তৈরি করতে পারেন। নোটেশন সম্পাদনা করে সুরের গতিপথ সূক্ষ্মভাবে নিয়ন্ত্রণ করা যায় এবং “অনুপ্রেরণা”কে পূর্ণাঙ্গ কাজে রূপ দেওয়া যায়।
কভার ও সেকেন্ডারি ক্রিয়েশন: SheetSage2 দিয়ে মূল গানকে নোটেশনে রূপান্তর করার পর এক ক্লিকেই গানটিকে জ্যাজ, রক ইত্যাদি নতুন শৈলীতে রূপান্তর করা যায় অথবা গানের কথা বদলে বহুভাষিক সংস্করণ তৈরি করা যায়। এটি ফ্যানদের সেকেন্ডারি ক্রিয়েশন ও শর্ট-ভিডিও অভিযোজনের চাহিদা পূরণ করে।
চলচ্চিত্র / গেম / বিজ্ঞাপনের সঙ্গীত Demo: প্রযোজনা সংস্থা দ্রুত কণ্ঠসহ বা শুধু বাদ্যযন্ত্রের সম্ভাব্য সঙ্গীত তৈরি করতে পারে। কম খরচে প্রাথমিক পরীক্ষা-নিরীক্ষার পর মানব সঙ্গীতশিল্পী নিয়োগের সিদ্ধান্ত নেওয়া যায়, ফলে প্রাথমিক যোগাযোগের ব্যয় উল্লেখযোগ্যভাবে কমে।
সঙ্গীত শিক্ষা ও হারমনি বিশ্লেষণ: শিক্ষক নির্দিষ্ট কর্ডের গতিপথ ও গঠনযুক্ত উদাহরণমূলক সঙ্গীত তৈরি করতে পারেন। শিক্ষার্থীরা ABC নোটেশনের সঙ্গে মিলিয়ে কম্পোজিশন কৌশল শিখতে পারে, ফলে “শোনা যায়, দেখা যায়, পরিবর্তন করা যায়” এমন শিক্ষণচক্র তৈরি হয়।