Meta AI · 其他
Meta AI 发布自监督学习框架 data2vec
Meta AI 推出 data2vec，一种自监督学习框架，统一处理文本、图像和语音等多种模态。它采用教师-学生架构，在共享表征空间中学习不同数据类型的通用特征，不依赖对比学习或掩码语言建模。该框架在 NLP、计算机视觉和语音识别任务上均表现出较好的性能，为跨模态自监督学习提供了一条更简洁的基础路径。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2022-12-12
导读
Meta AI 在 2022 年 12 月发布 data2vec 2.0，是其早期 data2vec 框架的第二代。新版仍然把语音、视觉和文本三种模态放在同一套自监督学习算法下处理，核心目标转向训练效率：在 ImageNet-1K 图像分类任务上，data2vec 2.0 能够达到与掩码自编码器 MAE 相同的精度，但壁钟时间只需后者的 1/16。在语音任务上对比 wav2vec 2.0，在文本任务上对比 RoBERTa，新算法都展示了显著的速度优势。
实现这一加速的关键在三处工程改动。算法仍沿用师生范式，学生网络预测教师网络给出的上下文化表征，但是上下文表征针对同一个训练样本只构建一次，然后在不同掩码版本之间复用。模型对未掩码的 token 不再消耗计算，解码器从 Transformer 简化为更轻的卷积结构。这些调整让 data2vec 2.0 在相同硬件上达到相同精度所需的步数大幅减少，也意味着研究者用更少的 GPU 小时就能复现自监督预训练实验。
Meta AI 同时开源了代码与预训练权重。对于研究者和应用开发者，意义在于自监督预训练的门槛被压低：不必再为每种模态单独维护一套算法栈，也不必为了得到接近 SOTA 的视觉表征付出十几倍于以往的算力成本。Meta 在博文中提出的长期方向是让机器能够理解整部电影这样高度复杂的数据，data2vec 2.0 被定位为通往这一目标的中间一步。