SAM模型

SAM模型基本信息及应用，SAM（Segment Anything Model）是Meta AI开发的分割模型，是计算机视觉的第一个基础模型。

SAM模型

• 定义
  • SAM（Segment Anything Model）是Meta AI开发的分割模型，是计算机视觉的第一个基础模型。SAM在包含数百万张图像和数十亿个掩码的大型数据集上进行了训练，因此非常强大。SAM是一种可提示的分割系统，可以在不需要额外训练的情况下对不熟悉的对象和图像进行零样本泛化，从而“剪切”任何图像中的任何对象。
• 模型整体
  • image encoder
    • 旨在映射待分割的图像到图像特征空间
  • prompt encoder
    • 负责映射输入的prompt到prompt的特征空间
    • 两种prompt
      • sparse
        • 指demo中可以输入的点，目标框或者是描述目标的text
      • dense
        • 一般是上一次迭代预测出的一个粗分割的mask，粗略指出待分割的目标区域
  • mask decoder
    • 整合image encoder和prompt encoder分别输出的两个embedding
    • 从这个embedding的feature map解码出最终的分割mask
• 核心目标
  • 减少针对图像分割的任务特定建模专业知识、训练计算资源和定制数据注释的需求。
• 应用领域
  • AI研究
    • AI系统中的组成部分
      • 理解网页的视觉和文本内容
  • 增强现实/虚拟现实领域
    • 根据用户凝视点选择对象，将其提升到3D空间中
  • 内容创作者
    • 改进创意应用
      • 提取图像区域用语拼贴或视频编辑
  • 研究自然现象
    • 视频中定位动物或物体进行研究和跟踪
• 使用模型分析实时数据
  • 普遍分割方式
    • 交互式分割
      • 允许对任何类别的对象进行分割，但需要人为引导方法，通过迭代改进掩模
    • 自动分割
      • 允许对预先定义的特定对象类别进行分割（例如猫或椅子），但需要大量手动注释的对象进行训练（例如成千上万个已分割的猫的示例），以及进行分割模型训练所需的计算资源和技术专长。
  • SAM模型集合两种方法，形成可以进行交互式分割及自动分割的单一模型
  • SAM模型在多样化，高质量的数据集上进行训练，数据集数据量超过10亿个掩膜
  • SAM模型具备泛化能力，使用者无需收集分割数据对模型进行调整
• 工作原理
  • 即时分割
    • 根据“提示”技术进行零样本学习和少样本学习
• 未来展望
  • SAM成为AR/VR,内容创作，科学领域以及更通用的AI系统中的一个强大组件
  • 关注像素级图像理解和更高级的语义理解之间的紧密耦合，从而释放强大的AI系统的潜力