YuE2 Đang hoạt động

YuE2 là mô hình tạo nhạc mã nguồn mở do Đại học Khoa học và Công nghệ Hồng Kông cùng đội ngũ M-A-P phát triển. Mô hình có thể tạo bản nhạc ABC có thể chỉnh sửa (giai điệu + hợp âm) dựa trên lời bài hát và phong cách, sau đó kết xuất thành bài hát hoàn chỉnh 48kHz, giúp quá trình sáng tác minh bạch và có thể kiểm soát. Mô hình hỗ trợ sáng tác từ đầu, hát lại không cần mẫu và chỉnh sửa bản nhạc qua hội thoại với Agent. Trên benchmark WildSongBench, SongBench Avg đạt 6.9632, vượt qua các mô hình thương mại như Suno v5.

Sáng tác theo kế hoạch ký hiệu: nhập lời bài hát và gợi ý phong cách, trước tiên tạo bản nhạc ABC gồm giai điệu + hợp âm có thể chỉnh sửa, sau đó kết xuất thành bài hát hoàn chỉnh với giọng hát và phần đệm.
Hát lại không cần mẫu: dùng SheetSage2 để chuyển bản thu âm gốc thành bản nhạc, rồi thể hiện lại theo phong cách hoặc lời mới mà không cần tinh chỉnh cho nhiệm vụ hát lại.
Chỉnh sửa bản nhạc qua hội thoại với Agent: trao đổi với Agent về bản nhạc, thay đổi hòa âm, giai điệu, tốc độ hoặc cấu trúc bài, rồi kết xuất phiên bản mới.
Chuyển âm thanh thành bản nhạc (SheetSage2): chuyển mọi bản thu âm thành bản nhạc có thể xem xét và chỉnh sửa, làm đầu vào cho các tính năng hát lại và biên tập.
Hiểu nhạc (MERT2): cung cấp biểu diễn âm nhạc ở cấp độ toàn bài, hỗ trợ các tác vụ hạ nguồn như chuyển âm thanh thành bản nhạc; bản thân mô hình đạt SOTA ở 14 trong 15 hạng mục của benchmark MARBLE.

关注 WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Lớp trung gian lập kế hoạch ký hiệu: thiết kế cốt lõi của YuE2 là chèn một lớp bản nhạc ký hiệu tường minh (ký âm ABC, gồm giai điệu và hợp âm) giữa điều kiện văn bản/âm thanh và dạng sóng cuối cùng. Bản nhạc đóng vai trò giao diện “hộp trắng”, có thể được con người hoặc Agent đọc và chỉnh sửa, đồng thời quyết định cấu trúc của quá trình tạo âm thanh tiếp theo, biến sáng tác từ việc “bốc thăm hộp đen” thành quy trình sáng tác có thể kiểm soát.
Kiến trúc chuyên gia hỗn hợp AR–NAR: mô hình sử dụng một backbone Mixture-of-Transformers duy nhất. Chuyên gia AR dùng attention nhân quả để tự hồi quy dự đoán token bản nhạc và token ngữ nghĩa, bảo đảm cấu trúc âm nhạc khớp với lời bài hát; chuyên gia NAR dùng attention hai chiều để dự đoán acoustic latent bằng flow matching (25 Hz × 64), bảo đảm chất lượng âm thanh. Hai loại chuyên gia dùng chung các lớp self-attention hỗn hợp và FFN, thống nhất xử lý việc lập kế hoạch và kết xuất trong một checkpoint.
Pipeline tạo âm thanh bằng VAE: acoustic latent do chuyên gia NAR xuất ra được giải mã bằng bộ giải mã VAE để khôi phục âm thanh stereo 48 kHz, không chịu tổn thất lượng tử hóa trong toàn bộ quá trình. Khi huấn luyện, các mô-đun ngoại tuyến xây dựng mục tiêu: SheetSage2 trích xuất mục tiêu bản nhạc từ âm thanh, MERT2+CVQ tạo mục tiêu token ngữ nghĩa, còn bộ mã hóa VAE tạo mục tiêu latent.
Ba chế độ dùng chung một bộ trọng số: sáng tác, hát lại và chỉnh sửa dùng chung một checkpoint tạo sinh; điểm khác biệt duy nhất là nguồn bản nhạc, lần lượt do mô hình tự tạo, SheetSage2 chuyển đổi hoặc con người/Agent chỉnh sửa rồi cung cấp. Khi hát lại, chuyển sang chế độ “chỉ giai điệu” để phần đệm tự do thích ứng với phong cách mới.
API suy luận theo từng giai đoạn: quá trình suy luận được chia thành bốn giai đoạn plan() → generate_semantic() → synthesize() → decode(); bản nhạc, token ngữ nghĩa, acoustic latent và các tham số tạo sinh đều được lưu lại. Người dùng có thể can thiệp ở bất kỳ giai đoạn nào: xuất bản nhạc để chỉnh sửa rồi kết xuất lại, hoặc tái sử dụng plan đã tạo và chỉ thay bộ giải mã, cân bằng giữa tính linh hoạt và khả năng tái lập.

Chuẩn bị môi trường: cần hệ thống Linux, Python 3.12 và GPU NVIDIA hỗ trợ BF16; trọng số mô hình sẽ tự động được tải từ Hugging Face trong lần chạy đầu tiên.
Cài đặt và triển khai: sau khi git clone kho lưu trữ, tạo môi trường ảo rồi chạy pip install . để hoàn tất cài đặt.
Tạo nhanh bài hát đầu tiên: chạy python examples/generate.py --output outputs/first-song để tạo bài hát từ ví dụ tích hợp; thư mục đầu ra chứa âm thanh (flac), bản nhạc và toàn bộ sản phẩm trung gian.
Gọi Python API: dùng YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B") để tải pipeline, truyền phong cách và lời bài hát để tạo nhạc; tham số cot điều khiển chế độ: "full" tạo bản nhạc có thể chỉnh sửa (mặc định), "melody" chỉ lập kế hoạch giai điệu, "off" tạo trực tiếp.
Hát lại một bài hát: trước tiên dùng SheetSage2 để chuyển bản thu âm gốc thành bản nhạc ABC giai điệu, sau đó truyền lời mới hoặc phong cách mục tiêu với cot="melody" để tạo lại.
Chỉnh sửa tác phẩm có sẵn: gọi pipe.plan() để xuất bản nhạc, tự chỉnh sửa hoặc yêu cầu Agent sửa tệp ABC, rồi dùng --abc-file edited.abc --cot full để kết xuất phiên bản mới.
Cách dùng Agent skill: nhập skills/yue2-music/ trong kho lưu trữ vào Agent hỗ trợ SKILL.md để hoàn tất sáng tác, chuyển bản nhạc, chỉnh sửa bản nhạc và so sánh phiên bản bằng hội thoại tự nhiên.

Chất lượng tiệm cận mô hình thương mại: SongBench Avg trên WildSongBench đạt 6.9632 (best-of-8), vượt qua các sản phẩm thương mại như Suno v5 và Mureka 9, thiết lập giới hạn mới cho tạo nhạc mã nguồn mở.
Sáng tác minh bạch và có thể kiểm soát: tiên phong trong pipeline “lập kế hoạch ký hiệu”, giai điệu và hợp âm được thể hiện rõ ràng dưới dạng bản nhạc ABC, cho phép con người và Agent đọc, chỉnh sửa tác phẩm trước khi kết xuất.
Ba chế độ dùng chung trọng số: sáng tác, hát lại không cần mẫu và chỉnh sửa qua hội thoại dùng chung một checkpoint; hát lại không cần tinh chỉnh chuyên biệt nhưng vẫn đạt độ giữ nguyên bản gốc 0.647 CLEWS mAP.
Mã nguồn mở hoàn toàn, chạy cục bộ: mã nguồn tuân theo Apache 2.0, trọng số 3.6B được cung cấp để tải xuống, có thể chạy ngoại tuyến trên một GPU 24GB VRAM, dữ liệu không rời khỏi máy.
Hệ sinh thái đầy đủ: đồng thời mở mã nguồn SheetSage2 để chuyển bản nhạc, mô hình hiểu nhạc MERT2, bộ đánh giá WildSongBench và Agent skill yue2-music, bao phủ toàn bộ quy trình “chuyển bản nhạc → sáng tác → chỉnh sửa → đánh giá”.
Có thể can thiệp theo từng giai đoạn: API bốn bước plan() → generate_semantic() → synthesize() → decode(), toàn bộ bản nhạc, token ngữ nghĩa và latent đều được lưu lại, hỗ trợ tái sử dụng kế hoạch và thay bộ giải mã giữa chừng.

Trang web dự án: https://map-yue2.github.io/
Kho GitHub: https://github.com/multimodal-art-projection/YuE

Sáng tác nhạc cá nhân: người không biết sáng tác hay phối khí chỉ cần nhập lời bài hát + phong cách để tạo bài hát, đồng thời có thể tinh chỉnh hướng phát triển của giai điệu bằng cách sửa bản nhạc, biến “cảm hứng” thành tác phẩm hoàn chỉnh.
Hát lại và sáng tạo phái sinh: dùng SheetSage2 chuyển bài hát gốc thành bản nhạc, sau đó chuyển bài hát sang phong cách mới như jazz, rock hoặc thay lời để tạo phiên bản đa ngôn ngữ, đáp ứng nhu cầu sáng tạo của người hâm mộ và cải biên video ngắn.
Demo nhạc phim / game / quảng cáo: bên sản xuất nhanh chóng tạo các bản nhạc nền thử nghiệm có giọng hát hoặc chỉ phần đệm, thử sai với chi phí thấp trước khi quyết định thuê người làm nhạc chuyên nghiệp, rút ngắn đáng kể chi phí giao tiếp ở giai đoạn đầu.
Giáo dục âm nhạc và phân tích hòa âm: giáo viên dùng mô hình để tạo các bài nhạc mẫu với hướng hợp âm và cấu trúc bài được chỉ định; học sinh có thể đối chiếu bản nhạc ABC để học kỹ thuật sáng tác, tạo thành vòng lặp giảng dạy “nghe được, nhìn thấy, chỉnh sửa được”.