Meta AI · 图像模型
Meta AI 利用古典渲染技术提升图像分割 SOTA
Meta AI 发表研究，把古典渲染中的光线投射技术引入图像分割。该方法不依赖额外标注，通过模拟光照与几何先验，在边界细节和遮挡场景下取得了显著提升，多个基准测试达到新 SOTA。这项低成本的技术路线为计算机视觉提供了新的改进思路。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2020-06-11
导读
Meta AI 在 2020 年 6 月发布的图像分割方法名为 PointRend，发表在 CVPR 2020。出发点是观察到主流分割模型基于卷积神经网络在整张图上均匀分配算力，为控制复杂度通常在较低分辨率上预测，导致大面积的躯干、背景被反复采样，而真正需要精细判断的物体边界反而采样不足，边界因此被过度平滑。
PointRend 借鉴了计算机图形学渲染中早就成熟的“自适应细分”思路。模型先用 Mask R-CNN、Semantic FPN 或 Deeplab 这类骨干网络生成粗略预测，然后逐步上采样，每一步只在分割结果不确定的少量像素点上重新执行点级预测，特征来自骨干网络的中间表示。如此循环几轮，分辨率推进到与输入图像一致，但实际重新预测的像素只占很小比例。
量化结果上，PointRend 把 Mask R-CNN 输出的掩码细节量提升至原来的 8 倍，实例分割与语义分割两大基准的平均精度提升最多 2.8 个百分点，代码同步开源。这种把经典图形学思想引回深度学习的做法，让高分辨率分割在内存与算力受限的设备上变得可行，也为 AR/VR 中需要像素级精度的背景替换、虚拟物体插入等场景留出了部署空间。