Meta AI · 3D
Meta AI 推动 3D 内容理解达到新水平
Meta AI 宣布在 3D 内容理解领域取得新突破，其最新模型在物体识别、场景解析和空间关系推断上超越现有基准。该工作结合了大规模多模态数据与新型注意力架构，能更精准地处理复杂三维环境，为 AR/VR、机器人交互等应用奠定基础。相关论文和模型已开源，推动社区研究和落地。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
导读
2019 年 10 月 Facebook AI 在首尔举行的 ICCV 上集中公布了多项 3D 内容理解研究，覆盖从单张 RGB 图像到点云、从有监督到自监督的多种设定。整组工作的共同问题意识是：即便处理 2D 照片和视频，画面背后的物体本身仍是三维的，要支撑机器人、AR 与内容理解，系统必须学会在三维空间里读懂场景。
Mesh R-CNN 在 Mask R-CNN 的物体分割分支之外新增 mesh 预测分支，采用 voxel 预测加 mesh 精修的两步流程，并配套发布 Torch3d，用以支撑 chamfer distance、可微 mesh 采样、可微渲染等 3D 运算。在 Pix3D 上它成为首个能在杂乱遮挡场景里同时检测家具并恢复完整 3D 形状的系统，在 ShapeNet 上较此前工作取得 7 个百分点的提升。C3DPO 走另一条路线，从单目 2D 关键点出发预测相机视角与规范化 3D 关键点位置，并引入 canonicalization 辅助网络消解视角与形状的歧义，首次在数十万张图像、数千个关键点规模上完成 14 类非刚性物体的重建。
另两项工作分别向更弱监督和更稠密的几何信号推进。一项把图像像素直接映射到类别级 3D 模板表面，配合反向映射形成闭环，仅依靠粗糙分割便学到可迁移的对应关系，迁移精度约为此前自监督方法的两倍；VoteNet 则在点云上引入受 Hough voting 启发的投票机制，由 3D 种子点向物体中心投票生成框提议，推理约 100 毫秒，显存占用低于先前方法，可服务 AR 放置与场景导航。