Meta AI · 大模型
Meta 发布 V-JEPA 视频联合嵌入预测架构
Meta 发布 V-JEPA，一种基于联合嵌入预测架构的自监督视频表示学习模型。该模型由 Yann LeCun 团队提出，通过预测视频片段在嵌入空间中的表示来学习视觉特征，无需人工标注。V-JEPA 在 Kinetics-400 等视频理解基准上取得了领先性能，为视频领域的基础模型研究提供了新方向。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2024-02-14
导读
Meta 公开发布 V-JEPA，全称 Video Joint Embedding Predictive Architecture，是一种用于视频自监督预训练的非生成式模型，遵循 Yann LeCun 2022 年提出的 JEPA 思路。模型在抽象表征空间中预测被遮挡的视频片段，而不是像生成式方法那样逐像素重建。Meta 将权重以 CC BY-NC 许可发布，供研究者继续探索。
训练时将一段视频在时空两个维度上大面积遮挡，让预测器在表征空间中补全缺失部分。如果只随机采样小块或只遮某一帧，任务会过于简单，模型学不到场景的演化规律；时空联合遮挡迫使模型理解物体如何随时间变化。预训练完全使用未标注视频，下游适配只需冻结编码器和预测器，在其上训练一个轻量探针即可，相比此前需要全参数微调的方法节省大量算力。Meta 报告训练和采样效率较生成式基线提升 1.5 至 6 倍。
评测上，V-JEPA 在 Kinetics-400、Something-Something-v2 等基准上做 frozen evaluation，分别在 5%、10%、50% 标签下三次随机划分共九组实验，平均表现优于已有视频表示学习方法；标签越少，与基线的差距越大。模型擅长细粒度物体交互识别，例如区分"放下笔""拿起笔""假装放下笔但没真放"。当前 V-JEPA 只处理视觉，下一步会接入音频、扩展到更长时间尺度的规划任务，并探索面向具身智能和未来 AR 眼镜的应用。