YuE2 運営中

YuE2は香港科技大学とM-A-Pチームがオープンソースで公開する音楽生成モデルです。歌詞とスタイルから編集可能なABC楽譜（メロディー＋コード）を生成し、それを48kHzの完成曲へレンダリングします。制作プロセスをホワイトボックス化し、細かく制御できます。ゼロからの作曲、ゼロショットカバー、Agentとの対話による楽譜編集に対応しています。WildSongBenchベンチマークではSongBench Avgで6.9632を達成し、Suno v5などの商用モデルを上回っています。

記号計画による作曲：歌詞とスタイルプロンプトを入力すると、まず編集可能なメロディー＋コードのABC楽譜を生成し、その後、ボーカルと伴奏を含む完成曲へレンダリングします。
ゼロショットカバー：SheetSage2で原曲の録音を楽譜に書き起こし、新しいスタイルや歌詞で再解釈します。カバータスク向けの追加ファインチューニングは不要です。
Agentとの対話による編集：楽譜についてAgentと対話し、ハーモニー、メロディー、テンポ、曲構成を変更したうえで、新しいバージョンを再レンダリングします。
音声から楽譜への変換（SheetSage2）：任意の録音を確認・編集可能な楽譜へ書き起こします。カバーと編集機能の入口となります。
音楽理解（MERT2）：曲全体の音楽表現を提供し、楽譜変換などの下流タスクを支えます。単体でもMARBLEベンチマーク15項目中14項目でSOTAを獲得しています。

WeChatでフォローして「オープンソース」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
記号楽譜による中間層：YuE2の核心的な設計は、テキスト／音声条件と最終波形の間に、明示的な記号楽譜（メロディーとコードを含むABC記譜）を挿入することです。楽譜は「ホワイトボックス」インターフェースとして機能し、人間やAgentが読み取り・編集できるだけでなく、その後の音響生成の構造も決定します。これにより、制作はブラックボックスの「運任せ」から、制御可能な作曲プロセスへ変わります。
AR–NAR混合エキスパートアーキテクチャ：モデルは単一のMixture-of-Transformersバックボーンを採用しています。ARエキスパートは因果アテンションによって楽譜トークンとセマンティックトークンを自己回帰予測し、音楽構造と歌詞の整合性を保証します。NARエキスパートは双方向アテンションで音響latentに対するflow matching予測（25 Hz × 64）を行い、音質を確保します。2種類のエキスパートは混合自己アテンション層とFFNを共有し、1つのcheckpoint内で計画とレンダリングを統一的に処理します。
VAE音響生成パイプライン：NARエキスパートが出力した音響latentは、VAEデコーダーによって48 kHzステレオ音声へ復元されます。全工程で量子化損失は発生しません。学習時の教師データはオフラインモジュールで構築されます。SheetSage2が音声から楽譜の教師データを抽出し、MERT2+CVQがセマンティックトークンの教師データを生成し、VAEエンコーダーがlatentの教師データを生成します。
3つのモードを同一の重みで統一：作曲、カバー、編集は同じ生成checkpointを共有します。唯一の違いは楽譜の出所であり、それぞれモデルによる自動生成、SheetSage2による書き起こし、人間またはAgentによる編集後の提供です。カバー時には「メロディーのみ」モードに切り替え、伴奏を新しいスタイルに自由に適応させます。
段階的な推論API：推論はplan() → generate_semantic() → synthesize() → decode()の4段階に分かれており、楽譜、セマンティックトークン、音響latent、生成パラメータがすべて保存されます。ユーザーは任意の段階で介入できます。楽譜をエクスポートして編集後に再レンダリングしたり、生成済みのplanを再利用してデコーダーだけを変更したりでき、柔軟性と再現性を両立します。

環境準備：Linuxシステム、Python 3.12、BF16に対応したNVIDIA GPUが必要です。モデルの重みは初回実行時にHugging Faceから自動的にダウンロードされます。
インストールとデプロイ：リポジトリをgit cloneした後、仮想環境を作成し、pip install .を実行すればインストールが完了します。
最初の曲をすぐに生成：python examples/generate.py --output outputs/first-songを実行すると、内蔵サンプルから曲を生成できます。出力ディレクトリには音声（flac）、楽譜、すべての中間生成物が含まれます。
Python APIの呼び出し：YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B")でパイプラインを読み込み、スタイルと歌詞を渡して生成します。cotパラメータでモードを制御します。「full」は編集可能な楽譜を生成（デフォルト）、「melody」はメロディーのみを計画、「off」は直接生成します。
曲をカバー：まずSheetSage2で原曲の録音をメロディーのABC楽譜へ書き起こし、cot="melody"で新しい歌詞や目的のスタイルを渡して再生成します。
既存作品を編集：pipe.plan()を呼び出して楽譜をエクスポートし、人間またはAgentがABCファイルを編集した後、--abc-file edited.abc --cot fullで新しいバージョンを再レンダリングします。
Agent skillの使い方：リポジトリ内のskills/yue2-music/を、SKILL.mdに対応したAgentへインポートすると、自然な対話で作曲、楽譜変換、楽譜編集、バージョン比較を行えます。

商用モデルに匹敵する品質：WildSongBenchでSongBench Avgが6.9632（best-of-8）に達し、Suno v5、Mureka 9などの商用製品を上回り、オープンソース音楽生成の性能上限を更新しています。
ホワイトボックスで制御可能な制作：独自の「記号計画」パイプラインにより、メロディーとコードをABC楽譜として明示します。人間もAgentも、レンダリング前に作品を読み取り、編集できます。
3つのモードを同一の重みで統一：作曲、ゼロショットカバー、対話式編集が同じcheckpointを共有します。カバーでは専用のファインチューニングなしに、0.647 CLEWS mAPの原曲保持度を実現します。
完全ローカルのオープンソース：コードはApache 2.0に準拠し、3.6Bの重みを公開ダウンロードできます。24GB VRAMのGPU 1枚でオフライン実行でき、データはローカルマシン外へ出ません。
充実したエコシステム：SheetSage2の楽譜変換、MERT2音楽理解モデル、WildSongBench評価セット、yue2-music Agent skillを同時にオープンソース化し、「楽譜変換→作曲→編集→評価」の全工程をカバーします。
段階的な介入に対応：plan() → generate_semantic() → synthesize() → decode()の4段階APIにより、楽譜、セマンティックトークン、latentをすべて保存し、計画の再利用や途中でのデコーダー変更が可能です。

プロジェクト公式サイト：https://map-yue2.github.io/
GitHubリポジトリ：https://github.com/multimodal-art-projection/YuE

個人の音楽制作：作曲や編曲ができない人でも、歌詞とスタイルを入力するだけで曲を作れます。楽譜を編集してメロディーの展開を細かく調整し、「ひらめき」を完成作品にできます。
カバーと二次創作：SheetSage2で原曲を楽譜に変換した後、曲をジャズやロックなどの新しいスタイルへワンクリックでアレンジしたり、歌詞を置き換えて多言語版を作成したりできます。ファンによる二次創作やショート動画向けのアレンジに対応します。
映像／ゲーム／広告向け音楽のデモ：制作側はボーカル付きまたは伴奏のみの候補曲を素早く生成できます。低コストで試行錯誤してからプロの制作を依頼するか判断でき、初期段階のコミュニケーションコストを大幅に削減します。
音楽教育とハーモニー分析：教師は指定したコード進行や曲構成のサンプル曲を生成でき、生徒はABC楽譜と照らし合わせて作曲技法を学べます。「聴ける、見える、編集できる」学習サイクルを実現します。