Meta AI 发布基于原始音频的文本无关语音生成方法

Meta AI 在 2021 年 9 月发布 GSLM，是首个绕开文本、直接在原始音频上训练的高性能 NLP 模型，研究团队把这条路径命名为 textless NLP。传统 NLP 系统几乎全部依赖大规模文本语料，对于地球上以口语为主、缺乏标准书写系统的大量语言来说，这条路径完全行不通。GSLM 通过纯粹的自监督训练，不需要文本也不需要标注，直接从原始音频信号中学习语言结构。

模型由三个组件构成：一个编码器把语音转成离散单元，对应口语中频繁出现的声音模式；一个基于离散单元的自回归语言模型，学习根据已有单元预测下一个单元，类似文本语言模型但词表换成了音频单元；一个解码器再把单元还原回语音。整套系统在 Libri-Light 与 Librispeech 的 6000 小时音频上训练，全程无文本无标签，研究团队称生成的离散单元为伪文本。这些单元在功能上接近音素，能区分“pa”和“ba”这类语音对立，但忽略说话人和声道差异，同时也忽略语调与节奏等韵律信息，需要由专门设计的编码器和解码器另行捕捉。

textless NLP 的意义体现在三个方向。覆盖面上，它让 NLP 技术理论上可以适用于任何被讲述的语言，包括没有书写系统的语种。表达力上，绕开文本瓶颈意味着语调、笑声、犹豫、讽刺等副语言信息得以保留，对于英语这类资源丰富的语言也可能优于纯文本训练。应用上，它打开了一类此前难以实现的产品形态，包括基于音频的播客检索、口语翻译、社交音频应用的内容理解。研究团队还指出，这类模型可能对发展心理学和语言病理学研究婴儿语言习得提供新工具。