DeepMind · TTS
DeepMind 发布 WaveNet 原始音频生成模型
DeepMind 推出 WaveNet，一种直接对原始音频波形建模的生成模型。与传统的拼接式语音合成不同，WaveNet 通过自回归方式逐样本预测音频信号，能够生成更自然、更富有表现力的语音。该模型在英语和普通话的语音合成测试中均显著降低了自然度与听感上的差距，同时还可用于音乐生成和音频特效。WaveNet 的发布为语音合成领域带来了新的技术路径。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-02-25
导读
DeepMind 在 2016 年 9 月 8 日发布 WaveNet，由 Aäron van den Oord 与 Sander Dieleman 提出。WaveNet 是一种直接对原始音频波形建模的深度生成模型，按 16 kHz 采样率逐样本预测，每秒生成 16000 个值。它采用全卷积结构，卷积层使用不同膨胀因子，让感受野随深度指数增长，可覆盖数千个时间步的上下文。训练阶段输入真实人声波形，采样阶段从网络给出的概率分布中抽取下一个样本值并回灌至输入。
与传统拼接式 TTS 依赖单一录音库的语音片段重组、参数式 TTS 依赖 vocoder 信号处理后端不同，WaveNet 不再通过中间表示绕开波形。结果是平均意见得分上的明显提升：在美式英语与普通话两项 TTS 评测中，WaveNet 将与人类语音之间的差距缩小了超过 50%，盲测共收集了 100 条测试句、500 多条评分。同一网络在条件输入说话人身份后能输出多种男女嗓音，且在多说话人语料上联合训练反而比单说话人语料训得更好，呈现迁移学习特征。去掉文本条件后，模型仍会发音，但生成的是混杂真实词与拟词的呓语，并夹带呼吸、咂嘴等非语音声响。
WaveNet 的能力不限于语音。研究者把它训练在古典钢琴音乐数据上，无需提供曲谱，模型直接生成连贯的钢琴片段。这项工作奠定了后续神经声码器路线的基础。对当时的工程实践而言，逐样本自回归推理代价高昂，但论文证明在 16 kHz 量级上深度神经网络足以胜任端到端的音频生成，并为 Google 后续将 WaveNet 推向 Assistant 等产品场景铺路。