Meta 发布 Yann LeCun 主导的 I-JEPA 自监督模型

Meta AI 发布 I-JEPA，由 Yann LeCun 主导的图像自监督学习方法。生成式方法通过遮挡或破坏输入像素，再让模型还原，问题在于世界本质上不可预测，模型容易过度关注无关细节，例如生成式模型常画错人手、加多手指。I-JEPA 走另一条路：在抽象表示空间中预测被遮挡区域的语义内容，不在像素层重建。

方法核心是多块遮挡策略。模型从一张图像中选取一个具有空间分布信息的上下文块，预测若干较大的目标块在表示空间中的内容，目标块需要足够大、含有足够的语义信息，否则任务退化为低层重建。这种设计让 I-JEPA 学到更接近人类直觉的高层概念，预测器本身可看作一个受限的世界模型，能够建模静态图像中由部分观察引出的空间不确定性。

实验显示，I-JEPA 在不使用人工设计的数据增强的前提下，于 ImageNet-1K 的 linear probing 与半监督评测上超过像素重建和 token 重建类方法；与依赖手工增强的预训练方法相比，在语义任务上具备竞争力，并在物体计数、深度估计等低层视觉任务上表现更好。研究团队还训练了一个随机解码器，把 I-JEPA 的表征映射回像素，可视化结果显示模型确实捕捉到了位置不确定性，并以正确姿态生成物体局部如狗头、狼的前腿。Meta 计划将 JEPA 思路推广到图文配对与视频数据。