Meta AI · ASR
Meta AI 发布 wav2vec 自监督语音识别方法
Meta AI 发布 wav2vec 自监督学习框架，用于语音识别。该方法通过大规模无标注音频预训练，大幅降低标注数据依赖，在 LibriSpeech 等基准上取得当时最优效果，推动了语音识别领域的范式转变。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
导读
Facebook AI 在 2019 年 9 月开源 wav2vec，把自监督学习引入自动语音识别。它在 WSJ 基准上取得当时已发表的最佳成绩，相对 Deep Speech 2 这一字符级强基线降低词错率约 22 个百分点，同时所需的有标注训练数据少了两个数量级。其训练目标受 NLP 中 word2vec 启发，让模型在原始语音片段与人为构造的扰动片段之间做区分，从而在无需文本转写的前提下学到可迁移的语音表示。
网络结构由两层卷积神经网络叠加构成：encoder 把原始音频映射为大约每 30 毫秒一个的向量，context 网络再把这些向量聚合为覆盖最长一秒的上下文表示。训练时系统在每段 10 秒音频里替换 10 毫秒片段以制造干扰样本，并要求模型不仅判别当前帧，还预测此后多个 10 毫秒步的真实音频，相当于对每秒语音进行数百次自我测验。生成的特征可以直接喂入既有 ASR 模型，因此不需要改造下游训练管线。
与 Deep Speech 2 在 12,000 小时转写数据上达到 3.1% WER 的结果相比，wav2vec 用 150 倍更少的转写数据取得 2.43% WER，与不含预训练表示的同源基线相比相对提升 30%。研究团队明确把低资源语言作为下一步重点，希望让视频字幕、内容审核等依赖语音识别的应用摆脱以英文为中心的训练数据格局。