YuE2 운영 중

YuE2는 홍콩과학기술대학교와 M-A-P 팀이 오픈 소스로 공개한 음악 생성 모델입니다. 가사와 스타일을 바탕으로 편집 가능한 ABC 악보(멜로디+코드)를 생성한 후 48kHz 완성곡으로 렌더링하여, 창작 과정을 투명하고 제어 가능하게 만듭니다. 모델은 처음부터 곡 만들기, 제로샷 커버, Agent와의 대화형 악보 편집을 지원합니다. WildSongBench 벤치마크에서 SongBench Avg 6.9632를 기록해 Suno v5 등 상용 모델을 넘어섰습니다.

기호 기반 작곡 계획: 가사와 스타일 프롬프트를 입력하면 먼저 편집 가능한 멜로디+코드 ABC 악보를 생성하고, 이후 보컬과 반주가 포함된 완성곡으로 렌더링합니다.
제로샷 커버: SheetSage2로 원곡 녹음을 악보로 전사한 뒤 새로운 스타일이나 가사로 재해석하며, 커버 작업을 위한 별도 파인튜닝이 필요하지 않습니다.
Agent 대화형 편집: 악보를 바탕으로 Agent와 대화하며 화성, 멜로디, 템포 또는 곡 형식을 수정한 뒤 새 버전으로 다시 렌더링합니다.
오디오-악보 변환(SheetSage2): 어떤 녹음이든 확인하고 수정할 수 있는 악보로 전사하여 커버와 편집 기능의 시작점으로 활용합니다.
음악 이해(MERT2): 전체 곡 수준의 음악 표현을 제공해 악보 변환 등 다운스트림 작업을 지원하며, MARBLE 벤치마크 15개 항목 중 14개에서 SOTA를 달성했습니다.

WeChat에서 팔로우한 뒤 “开源”에 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 참여하세요.
기호 기반 계획 중간 계층: YuE2의 핵심 설계는 텍스트/오디오 조건과 최종 파형 사이에 명시적인 기호 악보 계층(멜로디와 코드를 포함한 ABC 기보)을 삽입하는 것입니다. 악보는 “투명한” 인터페이스로서 사람이나 Agent가 읽고 수정할 수 있으며, 이후 음향 생성의 구조를 결정합니다. 이를 통해 창작은 블랙박스식 “뽑기”에서 제어 가능한 작곡 과정으로 바뀝니다.
AR–NAR 혼합 전문가 아키텍처: 모델은 단일 Mixture-of-Transformers 백본을 사용합니다. AR 전문가는 인과 어텐션으로 악보 token과 의미 token을 자기회귀 예측하여 음악 구조와 가사의 정렬을 보장합니다. NAR 전문가는 양방향 어텐션으로 음향 latent에 대한 flow matching 예측(25 Hz × 64)을 수행해 오디오 품질을 보장합니다. 두 전문가는 혼합 자기 어텐션 계층과 FFN을 공유하며, 하나의 checkpoint 안에서 계획과 렌더링을 통합 처리합니다.
VAE 음향 생성 파이프라인: NAR 전문가가 출력한 음향 latent는 VAE 디코더를 거쳐 48 kHz 스테레오 오디오로 복원되며, 전체 과정에서 양자화 손실이 없습니다. 학습 시에는 오프라인 모듈로 목표 데이터를 구성합니다. SheetSage2가 오디오에서 악보 목표를 추출하고, MERT2+CVQ가 의미 token 목표를 생성하며, VAE 인코더가 latent 목표를 생성합니다.
세 가지 모드를 하나의 가중치로 통합: 작곡, 커버, 편집은 동일한 생성 checkpoint를 공유합니다. 차이는 악보의 출처뿐이며, 각각 모델이 직접 생성하거나 SheetSage2가 전사하거나 사람/Agent가 수정해 제공합니다. 커버 시에는 “멜로디만” 모드로 전환하여 반주가 새로운 스타일에 자유롭게 맞춰지도록 합니다.
단계별 추론 API: 추론은 plan() → generate_semantic() → synthesize() → decode()의 네 단계로 나뉘며, 악보, 의미 token, 음향 latent와 생성 매개변수가 모두 디스크에 보존됩니다. 사용자는 어느 단계에서든 개입할 수 있습니다. 악보를 내보내 편집한 후 다시 렌더링하거나, 이미 생성된 plan을 재사용하면서 디코더만 교체할 수 있어 유연성과 재현성을 함께 확보합니다.

환경 준비: Linux 시스템, Python 3.12, BF16을 지원하는 NVIDIA GPU가 필요합니다. 모델 가중치는 최초 실행 시 Hugging Face에서 자동으로 다운로드됩니다.
설치 및 배포: 저장소를 git clone한 후 가상 환경을 만들고 pip install .을 실행하면 설치가 완료됩니다.
첫 곡 빠르게 생성하기: python examples/generate.py --output outputs/first-song을 실행하면 기본 제공 예제로 곡을 생성할 수 있으며, 출력 디렉터리에는 오디오(flac), 악보 및 모든 중간 산출물이 포함됩니다.
Python API 호출: YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B")로 파이프라인을 불러온 뒤 스타일과 가사를 전달하면 생성할 수 있습니다. cot 매개변수로 모드를 제어합니다. "full"은 편집 가능한 악보를 생성하는 기본 모드이고, "melody"는 멜로디만 계획하며, "off"는 직접 생성합니다.
곡 커버하기: 먼저 SheetSage2로 원곡 녹음을 멜로디 ABC 악보로 전사한 다음, cot="melody"로 새 가사나 목표 스타일을 전달해 다시 생성합니다.
기존 작품 편집하기: pipe.plan()을 호출해 악보를 내보내고, 사람이 직접 또는 Agent가 ABC 파일을 수정한 뒤 --abc-file edited.abc --cot full로 새 버전을 다시 렌더링합니다.
Agent skill 사용: 저장소의 skills/yue2-music/를 SKILL.md를 지원하는 Agent에 가져오면 자연어 대화로 작곡, 악보 변환, 악보 수정 및 버전 비교를 수행할 수 있습니다.

상용 모델에 견줄 만한 품질: WildSongBench에서 SongBench Avg 6.9632(best-of-8)를 기록해 Suno v5, Mureka 9 등 상용 제품을 넘어 오픈 소스 음악 생성의 한계를 높였습니다.
투명하고 제어 가능한 창작: “기호 기반 계획” 파이프라인을 최초로 도입해 멜로디와 코드를 ABC 악보로 명시적으로 표시하며, 사람과 Agent 모두 렌더링 전에 작품을 읽고 수정할 수 있습니다.
세 가지 모드를 하나의 가중치로 통합: 작곡, 제로샷 커버, 대화형 편집이 동일한 checkpoint를 공유합니다. 커버는 별도 파인튜닝 없이도 0.647 CLEWS mAP의 원곡 유지도를 달성합니다.
완전한 로컬 오픈 소스: 코드는 Apache 2.0을 따르며, 3.6B 가중치를 공개 다운로드할 수 있습니다. 24GB VRAM 단일 GPU에서 오프라인으로 실행할 수 있어 데이터가 로컬 장치를 벗어나지 않습니다.
완비된 생태계: SheetSage2 악보 변환, MERT2 음악 이해 모델, WildSongBench 평가 세트 및 yue2-music Agent skill을 함께 공개하여 “악보 변환→작곡→편집→평가” 전 과정을 지원합니다.
단계별 개입 가능: plan() → generate_semantic() → synthesize() → decode()의 4단계 API를 제공하며, 악보, 의미 token, latent를 모두 디스크에 저장해 계획 재사용과 중간 디코더 교체를 지원합니다.

프로젝트 공식 웹사이트：https://map-yue2.github.io/
GitHub 저장소：https://github.com/multimodal-art-projection/YuE

개인 음악 창작: 작곡이나 편곡을 모르는 사람도 가사와 스타일을 입력해 곡을 만들 수 있으며, 악보를 수정해 멜로디의 흐름을 세밀하게 조정하고 “영감”을 완성된 작품으로 발전시킬 수 있습니다.
커버와 2차 창작: SheetSage2로 원곡을 악보로 변환한 뒤 곡을 재즈, 록 등 새로운 스타일로 한 번에 편곡하거나 가사를 바꿔 다국어 버전을 만들 수 있어 팬 창작과 숏폼 영상 편곡 수요에 대응합니다.
영화 / 게임 / 광고 음악 데모: 제작사가 보컬 또는 순수 반주가 포함된 후보 음악을 빠르게 생성하고, 낮은 비용으로 시행착오를 거친 뒤 실제 제작자 고용 여부를 결정할 수 있어 초기 커뮤니케이션 비용을 크게 줄입니다.
음악 교육 및 화성 분석: 교사는 특정 코드 진행과 곡 형식을 갖춘 예시 곡을 생성할 수 있고, 학생은 ABC 악보와 대조하며 작곡 기법을 학습할 수 있습니다. 이를 통해 “들리고, 보이고, 수정할 수 있는” 교육의 선순환을 구현합니다.