Meta AI 发布首个高性能多模态自监督算法

Meta AI 在 2022 年 1 月发布 data2vec，是首个同时适用于语音、视觉和文本三种模态的高性能自监督算法。在此之前，自监督学习的算法设计与具体模态深度耦合：图像用对比学习或视觉 token，文本用掩码语言建模，语音则有自己的离散单元，不同模态的算法各自演进且不能直接迁移。data2vec 把这道壁垒推平，用同一套学习目标分别在三种模态上训练，并在视觉与语音任务上超越此前的最佳单一模态算法，在自然语言任务上保持竞争力。

算法的核心思路是预测数据的上下文化表征，而不是预测像素、词或离散语音单元。模型采用师生架构：教师网络读完整输入得到一组层级化的内部表征，学生网络读被掩码后的版本，目标是预测教师那一侧对应位置的表征。由于预测的目标是连续的高维向量而非具体输出 token，算法对三种模态可以用相同的损失和训练流程，差别只在前端编码器。研究团队同时开源了代码和预训练模型，为社区提供一个可直接复用的多模态自监督基线。

这项工作的研究意义在于把自监督学习从单模态实验推向跨模态统一范式。对于训练资源有限的语言而言，自监督是绕开人工标注的关键途径，全球数千种语言不可能全部凑齐标注数据集。data2vec 把图像、语音、文本的进步绑在同一个算法迭代周期里，意味着任意一边的优化都能反哺另外两边。Meta 把它定位为通向更通用 AI 的中间步骤，后续推出的 data2vec 2.0 在此基础上进一步优化训练效率。