Meta AI · 图像模型
Meta 发布 Segment Anything 图像分割基础模型
Meta AI 正式发布 Segment Anything 基础模型,这是一套可用于图像任意对象分割的通用框架。模型在大规模标注数据集上训练,支持零样本迁移到未见过的物体类别与图像分布。同时发布的还有超 10 亿掩码的 SA-1B 数据集,覆盖 1100 万张图像,为研究社区提供开源权重与推理代码,有望显著降低图像分割任务的门槛。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2023-04-04
导读
Meta AI 发布 Segment Anything 项目,包含可提示的图像分割基础模型 SAM 以及配套数据集 SA-1B。目标是降低图像分割任务对建模专业知识、训练算力和定制标注的依赖,把分割能力建成类似自然语言处理中提示模型的通用基础。SAM 学到了"物体是什么"的一般性概念,能够为图像或视频中任意物体生成掩码,包括训练阶段未见过的物体和图像类型,具备零样本迁移到水下摄影或细胞显微图像等新领域的能力。
传统分割方法分两类:交互式分割可处理任意类别但需要人工反复细化掩码;自动分割只能识别预先定义好的物体类别,且需要数千甚至数万个标注样本和大量算力。SAM 是这两类方法的合并:单一模型既能交互又能自动分割,可提示接口接受点击、点的包含与排除、边界框乃至文本,通过设计合适的提示即可覆盖大量分割任务。模型在超过 10 亿掩码的高质量数据集上训练,使其能够泛化到训练分布之外的物体与图像。
Meta 把这种泛化能力视为对实践者的减负:大多数场景不再需要自行收集分割数据并微调模型。SAM 的应用前景涉及多个领域:作为更大的多模态系统组件理解网页的视觉与文字内容;在 AR/VR 场景中依据用户视线选取物体并"提升"为 3D 对象;为内容创作者提取图像区域用于拼贴或视频编辑;为生态学、天文等领域的物体定位与跟踪研究提供工具。