Meta AI 发布 SAM 3D 模型

Meta AI 发布的 SAM 3D 把 SAM 系列从 2D 分割扩展到三维理解，一次给出两个模型：SAM 3D Objects 负责物体与场景的三维重建，SAM 3D Body 负责人体姿态与体型估计。此次发布开放模型 checkpoint 与推理代码，并预告将放出 SAM 3D Artist Objects 评测数据集，作为单图三维重建在自然图像上的新基准。Meta 也已经把 SAM 3D 与 SAM 3 接入 Facebook Marketplace 的 View in Room，让用户在购买家居前先把商品摆进自己房间。

SAM 3D Objects 的核心方法是把 3D 训练分成两段，借鉴大语言模型的做法。先用大规模合成 3D 资产做预训练，再用一个数据标注引擎在自然图像上生成监督信号做 post-training，弥合 sim-to-real 落差。数据引擎与模型互相反馈，模型越准，引擎产出的标注越好，构成正向循环。在人类偏好对比中，SAM 3D Objects 相对其他领先方法取得至少 5:1 的胜率，并借助 diffusion shortcut 等工程优化把全纹理重建压缩到秒级。SAM 3D Body 则基于新开源的 Meta Momentum Human Rig 网格格式，把骨架结构与软组织形态拆开，配合约 800 万张高质量训练图像，支持以分割掩码或 2D 关键点作为 prompt 来指导重建。

对读者来说，SAM 3D 把 3D perception 从合成单物体推到自然图像与真实场景，意味着机器人、AR/VR 与内容创作都能拿到一个可直接接入的空间理解模块。文章也坦白局限：分辨率仍偏低、单次只重建一个物体且未训练物理接触关系，人体模型暂不处理多人或人-物互动，手部姿态精度仍不及专用方法。Meta 把这些已知缺口写进发布稿，本身就是给后续社区研究划出路线。