DeepMind · 其他
DeepMind 发布音频生成音频技术的突破
DeepMind 近日发布了音频生成技术的最新进展，旨在提升音频的真实感和可控性。该方向涉及语音、音乐和音效的联合建模，通过新的模型架构和训练方法，使生成结果更贴近自然声学特性。这项工作延续了 DeepMind 在 WaveNet 等语音合成方向的积累，为未来的创意工具和交互式应用打开了更多可能性。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-03
导读
这是 DeepMind 2024 年 10 月发布的音频生成研究综述，由 Zalán Borsos、Matt Sharifi 与 Marco Tagliasacchi 撰写，串起 SoundStream、AudioLM、SoundStorm 到最新多说话人对话模型的技术演进，并解释 NotebookLM Audio Overviews 与 Illuminate 背后的语音底座。文章把语音视为人际连接的核心通道，目标是让 Gemini Live、Project Astra、Cloud Journey Voices 与 YouTube auto dubbing 等产品的语音体验更接近真实对话。
技术路径分三层叠加。SoundStream 把音频压缩为离散 acoustic token，保留 prosody 与 timbre 信息；AudioLM 把音频生成视为语言建模任务，对 acoustic token 自回归预测，绕开针对音频的特殊架构假设；最新一代模型把单说话人扩展到多说话人对话，新的 speech codec 把码率压到 600 bits per second，仍保住语音质量。为处理两分钟对话需要的 5000 多个 token，团队设计了配合 token 层级结构的 Transformer 架构，能在一次自回归推理中输出全部 token，再解码回波形。模型先在数十万小时语音语料上预训练，再用录音棚级配音演员的非脚本对话精调，把 umm、aah 等真实失流利特征注入输出。单块 TPU v5e 在 3 秒内即可生成 2 分钟对话，速度约为实时的 40 倍。
对应用方而言，这意味着两分钟级别的高保真多人对话已可批量生成。NotebookLM 的"两位 AI 主持人聊文档"与 Illuminate 的论文播客化都建立在同一套 token 化与 hierarchical Transformer 上。DeepMind 同时声明所有非瞬时 AI 音频会嵌入 SynthID 水印。读者可把这篇文章当作 Audio Overview 类产品的工程参考：codec 设计、长序列 token 的层级注意力、以及对话数据精调，是把单说话人 TTS 推向"可听完两分钟"自然对话的三处主要工程动作。