Meta AI · 世界模型
Meta AI 发布 V-JEPA 2 世界模型及基准
Meta AI 推出 V-JEPA 2，这是一个面向视频预测与物理世界理解的自监督世界模型。新版本在多个规模上显著提升了模型对物体运动、遮挡与交互的预测能力，同时公布了配套评测基准。V-JEPA 2 不依赖标注数据，通过视频本身学习世界动态，为机器人、自动驾驶和通用智能等物理场景建模提供了新的基础方向。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2025-06-10
导读
Meta AI 发布 V-JEPA 2，一个 12 亿参数、基于 Meta Joint Embedding Predictive Architecture (JEPA) 的视频世界模型。模型同时具备视觉理解、物理预测与 zero-shot 机器人规划能力，目标是支撑 Meta 提出的 advanced machine intelligence (AMI) 路线。V-JEPA 2 包含一个 encoder 把原始视频编码成语义嵌入，加上一个 predictor 根据嵌入与上下文预测未来的嵌入，整套训练采用 self-supervised learning，不依赖人工标注。
训练分两阶段。第一阶段在超过 100 万小时视频与 100 万张图像上完成 actionless pre-training，让模型理解物体如何运动、人如何与物体互动；在 Something-Something v2 动作识别、Epic-Kitchens-100 动作预测、Perception Test 与 TempCompass 视频问答上均取得 state-of-the-art。第二阶段加入 62 小时的机器人控制数据，让 predictor 学会把具体动作纳入预测。基于 DROID 数据集训练的模型可以直接部署在实验室未见过的机器人上，在新环境中抓取、放置陌生物体的成功率达到 65% 到 80%。
Meta 同步发布三项物理推理基准。IntPhys 2 借鉴儿童发展心理学的违反预期范式，让模型区分物理合理与违反物理的视频，人类接近满分而当前视频模型接近随机水平。Minimal Video Pairs (MVPBench) 用最小变化视频对消除模型走捷径的可能，必须在两个相似视频上同时答对才算正确。CausalVQA 聚焦反事实、预期与规划三类因果问题，揭示出多模态模型在「可能发生什么」与「下一步该做什么」上仍远落后于人类。V-JEPA 2 代码与 checkpoint 在 GitHub 与 Hugging Face 开放，可商用，可研究。