YuE2 教程：前沿音乐生成，符号规划 + 零样本翻唱 + Agent 编辑

📌 项目日期：2026年9月 | 数据来源：GitHub官方仓库 | 星数：9.5k+

📋 项目简介

YuE2（9.5k 星，HKUST/M·A·P/Tokenwave.AI/NYU/Stanford/MBZUAI 联合，Apache-2.0 代码 + CC BY-NC 模型权重）是前沿音乐生成模型——给歌词和风格提示，它先写一段旋律与和弦的符号规划（可读、可弹、可改），再渲染成含人声与伴奏的完整歌曲。三大模式：创作（歌词+风格→乐谱→歌）、翻唱（源录音→转录乐谱→新风格诠释）、Agent 编辑（对话改和声/旋律/配器后重新渲染）。WildSongBench 最佳 6.96 分超 Suno v5，48kHz 立体声。想配音频后处理可看 FFmpeg技能教程。

✨ 核心特性

特性	说明
符号规划（白盒）	先生成可编辑的旋律+和弦 ABC 乐谱，人或 Agent 可检查干预后再渲染
零样本翻唱	用 SheetSage2 转录源录音旋律，新风格+新歌词重新诠释，无需翻唱专用微调
Agent 式编辑	导出乐谱→改和声/旋律/速度/曲式→重新渲染，对话式迭代（demo 跑 9 步 14 版）
AR-NAR 混合 Transformer	自回归预测乐谱与语义 token，流匹配生成声学 latent，VAE 解码立体声
WildSongBench 最佳	best-of-8 得 6.9632，192 题自动评测中所有设定最高均分
48kHz 立体声	无量化，48kHz 立体声输出，audio.flac + 乐谱 + latent 全留存
分阶段 Python API	plan() → generate_semantic() → synthesize() → decode()，支持精确乐谱复用与解码器选择
Agent 技能	内置 yue2-music SKILL.md，教 Agent 生成/翻唱/编辑/比对，可装进 Claude 等
MERT2 + SheetSage2	附赠音乐理解 SOTA（14/15 MARBLE 指标）与音频转乐谱 SOTA（10/13 指标）

🚀 安装与运行

# 环境：Linux + Python 3.12 + NVIDIA GPU（BF16，24GB VRAM）
git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install .   # 模型权重首次用时从 HuggingFace 自动下载

# 生成第一首歌
python examples/generate.py --output outputs/first-song
# 打开 outputs/first-song/audio.flac

# Python API（等价）
import json
from pathlib import Path
from yue2 import YuE2Pipeline
request = json.loads(Path("examples/song.json").read_text(encoding="utf-8"))
with YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") as pipe:
    song = pipe(**request)
    song.save_artifacts("outputs/my-song")

# 三种 cot 模式：full（生成可编辑乐谱，默认）/ melody（翻唱用）/ off（直接生成）

💡 使用建议

• 从 full 模式起步：full 生成可编辑乐谱是 YuE2 的核心卖点，先跑通创作流再试翻唱与编辑。
• 翻唱用 melody 模式：SheetSage2 转录源录音后，用 cot="melody" + 无和弦乐谱让伴奏自由适配新风格，比 full 更灵活。
• Agent 编辑靠导出+改+重渲染：导出 plan 的 score.abc，让 Agent 改和声/旋律后用 --abc-file 重新生成，这是白盒优势所在。
• 装 yue2-music 技能给编码代理：把 skills/yue2-music/ 装进支持 SKILL.md 的 Agent（如 Claude Code），Agent 即会生成/转录/编辑/比对，想了解更多 Agent 技能可看 awesome-llm-apps教程。
• 商用须授权：代码 Apache-2.0 可自由用，但模型权重 CC BY-NC 非商用；个人/创作者免费用且可商用产出，公司商用须联系 lauryliuyang@hkgai.org。