Meta AI · 图像模型

Meta 发布 Segment Anything 2

Meta 发布 Segment Anything 2,将图像分割能力扩展到视频领域。新模型在 SAM 基础上引入视频帧间一致性处理,支持对任意视频对象进行实时分割与追踪,无需针对特定场景重新训练。SA2 同时开源了模型权重和包含 5 万段视频的大规模标注数据集,为视频分割的精度和泛化能力均有显著提升。

域名
ai.meta.com
评分
5 · 重大发布
发布
2025-02-11

导读

Meta 于 2024 年 7 月发布 Meta Segment Anything Model 2,将首代 SAM 在图像上的实时可提示分割能力延伸到视频。SAM 2 是首个面向图像与视频的统一可提示对象分割模型,在图像分割精度上超过前代 SAM,在视频分割上超越同期工作,且所需交互时间减少为原来的三分之一。模型保留 SAM 系列的 zero-shot 泛化能力,可对从未见过的对象与视觉领域直接生效,无需额外定制训练。

开放范围相当彻底:模型代码与权重以 Apache 2.0 许可发布,评测代码以 BSD-3 许可发布;同步开放的 SA-V 数据集包含约 51000 段真实世界视频和超过 60 万个时空遮罩 masklet,相比此前最大的视频分割数据集,视频数量多出 4.5 倍、标注多出 53 倍,所用许可为 CC BY 4.0。Meta 还提供了网页端 demo,允许任何人上传视频体验分割与跟踪效果。

SAM 2 的应用面相当宽广。其输出可与生成式视频模型串联,用于创意性视频特效;也可作为视频数据标注工具的底座,加速计算机视觉训练管线的数据生产。前代 SAM 已在 Instagram 的 Backdrop、Cutouts 等功能、声纳图像、珊瑚礁分析、卫星救灾、细胞图像、皮肤癌检测等领域被广泛使用,节省了数百万小时的人工标注成本。2025 年 2 月的更新中,SAM 2.1 已上架 Amazon SageMaker JumpStart,把这套能力的部署门槛进一步降到企业开发者可一键接入的水平。