AI翻唱及其工具安装与排错

AI 翻唱与虚拟歌姬全流程实战笔记

本笔记整合了从环境安装、RVC 调音、模型训练、人声转换到 VOICEVOX 虚拟歌姬合成的全套流程。包含所需链接、代码脚本、参数设置与排错指南，可直接作为复刻手册使用。

📑 目录

01_翻唱软件安装 (XB-SVCB)

1. 官方下载地址

  • GitHub Releases（推荐）：https://github.com/SDIJF1521/xb-svcb/releases/latest
  • 备用下载：B站/模型工坊（mxgf.cc）通常提供网盘分流。

普通用户直接使用 Releases 中的安装包，不要从源码自行编译。

2. 版本选择对照表

你的显卡 选择安装包
NVIDIA RTX 40 系及以下 CUDA126
NVIDIA RTX 50 系 CUDA128
AMD / 核显 DirectML 或 ROCm 10
无独立显卡 CPU

下载规则：选中版本后，需要下载 1 个 EXE + 全部同前缀 BIN 分卷，放在同一个文件夹里。

3. 安装步骤

  1. 双击 EXE，选择 “Install for me only”（推荐，免管理员权限冲突）。
  2. 指定应用安装目录和用户数据目录（不要放 C 盘，模型和缓存体积很大）。
  3. 当安装程序要求 Python 时：
    • 必须使用 64 位 CPython 3.12.x。
    • 如果没有，先安装 Python 3.12（官网下载 python-3.12.x-amd64.exe，安装时勾选 Add to PATH）。
    • 在安装界面点击“手动选择”，指向 C:\Users\你的用户名\AppData\Local\Programs\Python\Python312\python.exe。
  4. 务必勾选「安装后立即搭建运行环境」，然后点击安装。

4. 安装过程排错

  • ❌ 报错：未检测到 Python 3.12
    • 原因：系统默认 Python 是 3.13 / Anaconda 环境。
    • 解决：按上面第 3 步手动指定 3.12 的 python.exe 完整路径。
  • ❌ 安装进度条长时间卡住
    • 正常现象：正在后台下载 PyTorch、CUDA 运行时等大体积依赖，首次安装可能需要 10–30 分钟。
    • 判断是否假死：打开任务管理器，看安装程序的网络或磁盘占用是否在跳动。如果持续 10 分钟以上完全为 0，再考虑强制结束重装。
  • ❌ 启动后提示缺少 config.json
    • 原因：你导入的是 RVC 模型，RVC 的结构信息包含在 .pth 中，不需要单独的 So-VITS 风格 config.json。
    • 解决：在 XB-SVCB 顶部将框架切换为 RVC，直接导入 .pth + .index 即可。

02_翻唱调音 (RVC 推理参数精调)

1. 前置：人声分离模型选择

在 XB-SVCB 的「前期人声处理」中：

  • 分离引擎：选 PyMSS（比 UVR 通用分离更精准）。
  • 人声分离模型：优先选 mel_band_roformer 系列。
    • 稳妥首选：big_beta6.ckpt（稳定性与干净度平衡最好）。
    • 大显存可尝试：big_beta4.ckpt（细节更丰富，但偶有背景泄漏）。
  • 去混响（可选）：UVR-DeEcho-DeReverb.pth。
    • ⚠️ 警告：去混响会显著削弱人声能量，导致后续干声“发轻、发虚”。原曲混响不重时，直接跳过此步。

2. RVC 核心推理参数（变调 / F0 / Index）

参数 推荐值 说明
变调 (Pitch) 男转女 +12；低沉女声 +7~+5；同性别 0 +12 = 升高一个八度
F0 提取算法 rmvpe 清晰度最高，歌声首选
Index Rate (索引比率) 0.6 – 0.7 0 = 不用 index，1 = 完全依赖；0.75 是常见默认值，偏高时机器感更重
清辅音保护 (protect) 0.25 – 0.33 降低可减少原声呼吸/齿音残留；过低可能导致咬字含糊
响度包络融合 0.25 – 0.35 控制 AI 人声跟随原曲音量起伏的程度

3. AI Vocal Enhancement（高级层参数）

在「高级层 · Natural Voice」中调整：

滑块 推荐范围 作用
AI 角色共振峰 45% – 55% 拉太高 → 夹子音/滑稽感；拉太低 → 不像目标音色
AI 响度包络 65% – 75% 解决“AI 人声太轻”的最直接参数
Stereo (立体声) 0% – 10% 降低让声音更“实”，更容易和伴奏贴合
AI Compressor 55% – 65% 压平音量，增加声音密度
AI Exciter 15% – 25% 高频空气感；过高会放大电音/刺耳感

4. 双人声 / 高音失声的物理外挂

场景：一首歌里同时有男高音和男低音，跨度极大

不要用一个 Pitch 硬扛整首歌，否则必然一边“滑稽”一边“哑巴”。

  • 方案 A：切片分别推理
    1. 在剪辑软件中把干声按人声段落切开。
    2. 男高音段用 +5 ~ +7，男低音段用 0 ~ +2，分别跑 RVC。
    3. 导出后在剪辑软件中拼接，接缝处加 0.1–0.2 秒交叉淡化。
  • 方案 B：保留原声当间奏
    1. 在 XB-SVCB 的时间轴中跳过低音男声段落（不跑 AI）。
    2. 导出 AI 成品后，在剪映/Audition 中把原曲对应段落剪下来，直接盖在 AI 成品上。
    3. 同样加交叉淡化防止爆音。

场景：某一句高音直接失声（静音）

  • 开启 「自动高音保护」（XB-SVCB 界面中有此开关）。
  • 仍失声：把该句单独切出来，将 Pitch 再降低 -2 ~ -4 单独推理一次，贴回整体。
  • 换用 harvest F0 算法，对极端高音的容错率比 rmvpe 更高。

5. 冷启动 vs 热启动

  • 冷启动：第一次加载模型时慢（模型从硬盘 → 显存、CUDA 初始化）。
  • 热启动：只要不关闭 XB-SVCB，后续修改参数重新推理通常只需几秒。
  • 结论：调参阶段不要反复重启软件，在一个会话里连续试。

03_模型训练软件安装 (RVC 一键整合包)

1. 推荐工具与下载

工具 下载来源 说明
RVC 官方/社区一键整合包 模型工坊 http://mxgf.cc，搜索“RVC整合包” 解压即用，集成度高
RVC-beta.7z（经典版） GitHub Retrieval-based-Voice-Conversion-WebUI Releases 下载后双击 go-web.bat 启动
SVC-Fusion 优云智算等平台 同时集成 RVC / So-VITS / DDSP-SVC，适合想后续扩展的用户

硬件门槛：NVIDIA 显卡，显存 ≥ 6GB，8GB 最佳。

2. 解压与启动

  1. 将整合包解压到纯英文路径（例如 D:\RVC），路径中不要有中文或空格。
  2. 进入文件夹，双击 go-web.bat（或 启动.bat）。
  3. 浏览器会自动打开 WebUI 界面（通常是 http://127.0.0.1:7865）。

3. 训练数据准备（决定模型上限）

素材来源优先级：

  1. 本人按稿录音（最优）
  2. 有声书/清唱切片
  3. 直播录像（需大量清洗）

直播录像淘金法：

  • 只保留：背景安静、主播状态平稳的完整陈述句（避免大笑、尖叫、键盘声）。
  • 必须剪掉：半句话、喷麦、明显底噪、长时间空白。
  • 不要过度去混响：过度处理会让声音变薄，模型学不到真实音色。

本人录音要求（发给对方）：

找个安静、有软装/窗帘的房间，手机离嘴 15cm 左右。用平时聊天的语气，自然朗读 1500–3000 字文章（散文/新闻/小说均可）。每句之间停顿 1–2 秒，千万不要把半句话切断。保留正常呼吸声。如果愿意，清唱 1–2 段流行歌。

4. RVC WebUI 中的数据处理步骤

在 WebUI 顶部切换到 「训练」 标签页：

  1. 填写实验名（英文，如 my_model）。
  2. 音频处理 → 一键切片：
    • 切片长度：3.0 – 5.0 秒
    • 静音阈值：-40dB ~ -50dB
    • 最小长度：2.0 秒
  3. 点击 「处理数据」，等待切片完成。
  4. 特征提取：
    • 音高提取算法选 rmvpe。
    • 点击 「提取特征」。

5. 8G 显存训练参数（防爆指南）

参数 推荐值 说明
采样率 48k（音质好）或 40k（更稳） 48k 对高频细节更好
模型版本 v2
Batch Size 4 或 8 爆显存（OOM）就降到 4
Epoch（总轮数） 200 – 300 千万不要超过 300，极易过拟合
保存频率 50 方便中途取模型试听

点击 「训练模型」，然后 「训练特征索引」（生成 .index 文件，推理时必须和 .pth 一起使用）。

6. 排错与火候判断

  • ❌ 训练时报 CUDA Out of Memory
    • 把 Batch Size 从 8 降到 4；如果仍报错，降到 2。
  • ❌ 切片后音频数量很少
    • 说明静音阈值设得过高（比如 -30dB），把太安静的片段也删了。调低到 -50dB 重试。
  • 如何判断过拟合（最重要）
    • 不要等 300 轮跑完。150 轮时取 G_150 模型 + .index 去推理一首没在训练集里的歌。
    • 欠拟合：声音不像、发虚 → 可以再等到 200–250 轮。
    • 过拟合：出现电音、嘶哑、唱什么都一个调 → 立刻停止训练，退回上一轮模型（如 G_150）。

04_人声转换 (RVC 模型推理)

1. 在 XB-SVCB 中使用自训练模型

  1. 打开 XB-SVCB，模型框架选择 RVC。
  2. 主模型权重：选择你训练得到的 .pth 文件。
  3. 索引文件：选择对应的 .index 文件（没有 .index 会显著降低相似度）。
  4. 点击 「导入模型」。

2. 单模型翻唱（标准流程）

  1. 上传歌曲，完成人声分离（参数见文件 2）。
  2. 选择刚导入的 RVC 模型。
  3. 设置 Pitch：
    • 源人声与目标模型同性别 → 0
    • 男转女 → +12（或根据目标音色在 +5 ~ +12 之间调）
    • 女转男 → -12
  4. F0 算法选 rmvpe。
  5. Index Rate 设 0.6 – 0.7。
  6. 点击生成，等待完成。

3. 多模型混合（双人声/对唱）

在 XB-SVCB 顶部选择 「多模型混合」：

  1. 上传歌曲并完成分离。
  2. 软件会用歌词或静音检测自动切分时间轴。
  3. 为不同片段指派不同模型（或同一模型的不同 Pitch 参数）。
  4. 对于不想跑 AI 的段落（如低音男声间奏），在时间轴中跳过/删除该片段。
  5. 生成后，在编辑器或外部剪辑软件中把原曲对应片段贴回，加交叉淡化。

4. 局部高音失声的补救

如果整首跑完后发现某一句没有声音：

  1. 在剪辑软件中把该句单独切出来，保存为 .wav。
  2. 单独上传到 XB-SVCB（关闭人声分离，直接使用该 .wav）。
  3. 将 Pitch 在原来基础上再降低 2–4 个半音，重新推理。
  4. 把修复后的片段贴回整首，交叉淡化。

5. 常见排错

现象 可能原因 解决
整首几乎没有人声 Pitch 过高/过低超出模型音域 先设 0 测试是否有声；再逐步向目标方向调整
只有伴奏，人声消失 输入的是伴奏而非干声；或 Pitch 方向填错 单独播放输入文件确认有人声；检查 Pitch 正负号
原声残留明显 分离不干净 / protect 过高 / Index Rate 过低 换 big_beta6 分离；protect 降到 0.25；Index Rate 提到 0.7
高音破音/电音 过拟合 / Pitch 超出模型能力 降低 Pitch；换 harvest；退回训练轮数更低的 .pth

05_VOICEVOX 使用 (Vocal2Midi → MIDI → 歌声合成)

1. 工具链概述

干净干声.wav → Vocal2Midi → .mid / .ustx（含假名歌词） → VOICEVOX → 歌声.wav

  • Vocal2Midi 作用：从人声自动提取音高（音符） 和节奏，并把歌词灌注到 MIDI/USTX 中。
  • VOICEVOX 作用：读取 MIDI/USTX 的旋律和歌词，用声库“唱”出来。

2. Vocal2Midi 下载与安装

方案 A：整合包（强烈推荐，免依赖地狱）

  • 下载地址（作者发布）：
    • 度盘：https://pan.baidu.com/s/1_DsJmXxiS7_IlUMaFvrOtg 提取码 bili
    • 移动云盘（不限速）：https://yun.139.com/shareweb/#/w/i/2v3Enyk0WL4hr 提取码 xizn
  • 注意：压缩包为分卷，必须全部下载后再解压。
  • 解压到纯英文路径，双击 run.bat 启动（不要运行 install.bat）。

方案 B：源码安装（仅在整合包不可用时）
环境要求：Python 3.10 / 3.11 / 3.12。

1
2
3
4
5
6
7
8
9
# 在项目目录下
py -3.12 -m venv venv
.\venv\Scripts\activate

# 核心依赖（官方 requirements 在 Windows 下可能不全，按以下顺序补）
pip install PySide6 PySide6-Fluent-Widgets onnxruntime-directml -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install PyYAML mido librosa soundfile textgrid -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pyopenjtalk-plus -i https://pypi.tuna.tsinghua.edu.cn/simple
# ↑ 不要直接装 pyopenjtalk，用 plus 预编译版避免 cmake 编译失败

启动：

1
python app_fluent.py

3. 模型下载（解决 ModelNotFoundError）

源码安装时，Vocal2Midi 需要以下模型，放在项目根目录的 models/ 下：

模型目录名 获取方式
Qwen3-ASR-1.7B-dml ModelScope 一键下载（见下方脚本）
GAME-1.0.3-medium-onnx 从整合包的 models/ 中复制
tifa-1.0-onnx 从整合包中复制
romajiASR 从整合包中复制
kashi-g2p-onnx 从整合包中复制

Qwen3-ASR 下载脚本（PowerShell）：

1
2
3
4
Set-Location "D:\Vocal2Midi-2.0.0"   # 改成你的实际路径
New-Item -ItemType Directory -Force -Path ".\models" | Out-Null
pip install -U modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
modelscope download --model Qwen/Qwen3-ASR-1.7B --local_dir ./models/Qwen3-ASR-1.7B-dml

4. Vocal2Midi 提取操作

  1. 上传干净干声（.wav / .flac）。
  2. 参考歌词：直接粘贴纯文本歌词（不需要 LRC 时间戳）。
    • ⚠️ 日语场景：不建议开启“启用歌词匹配”（作者说明日语匹配效果不佳，建议让 ASR 自动识别）。
  3. 关键设置：
    • 目标语言：ja（日语）
    • 歌词输出格式：假名（VOICEVOX 不认罗马音）
    • 导出格式：优先 .ustx；其次 .mid
    • 输出音高曲线：开启
  4. 点击 「开始全自动提取」。

显存不足时：在设置中降低 GAME Batch 和 ASR Batch；Slice Min/Max 建议保持 5–30 秒。

5. VOICEVOX 导入与精修

导入：

  1. 打开 VOICEVOX，点击右上角 「ソング (Song)」 切换到歌声合成模式。
  2. 菜单 「ファイル」→「MIDI読み込み」（或直接拖入 .mid / .ustx）。
  3. 如果 MIDI 包含多条轨道，选择人声旋律所在的那一轨。

歌词：

  • VOICEVOX 只接受平假名 / 片假名作为歌词。
  • 如果 Vocal2Midi 导出的 MIDI 已在 Lyric 轨道中写入假名，VOICEVOX 通常会自动填入；如果没有，双击音符手动输入。

⚠️ 修复“红框音符（哔哔声）”：

  • 钢琴卷帘中音符出现红框/红线，表示音高超出当前声库音域，播放时会变成 beep 声。
  • 解决：框选这些音符，按 ↑ / ↓ 方向键整体移动一个八度，直到红框消失。

清理碎音：

  • AI 提取的音符往往切得很碎（一个词被分成多个极短音符）。
  • 在钢琴卷帘中拖拽合并相邻短音符，并修正假名，使歌词连贯。

6. 导出与最终合成

  1. 试听无误后，菜单 「ファイル」→「音声を出力」，导出 WAV。
  2. 在剪辑软件（剪映 / Audition）中，将导出的歌声与原曲伴奏对齐。
  3. 调整人声/伴奏音量比例，加轻微混响，导出成品。

💡 跨模块速查表

遇到什么问题 看哪个部分
XB-SVCB 安装报错 / 找不到 Python 3.12 01_翻唱软件安装
翻唱声音怪 / 原声残留 / 高音失声 02_翻唱调音
想训练自己的模型 / 8G 显存参数 03_模型训练软件安装
自训练模型怎么导入 / 多模型混合 04_人声转换
Vocal2Midi 依赖报错 / 模型缺失 / VOICEVOX 红框 05_VOICEVOX 使用
AI翻唱及其工具安装与排错
https://blog.knvbepr.top/2026/10/24/AI翻唱及其工具安装与排错/
作者
knvbepr
发布于
2026年10月24日
许可协议