SAM思路

Segment Anything Model的论文行文思路，SAM是一个通过海量训练形成的分割模型，感兴趣可以看看。

SAM思路

• 概要
  • SAM是什么
    • 是一个通过海量训练形成的分割模型
• 研究背景是什么
  • 1，目前“基础模型”很火，基础模型是一种少样本或者零样本可以较为良好适应下游任务的一类模型。但是对于目标分割来说没有一个比较好的基础模型
  • 2，没有一个大规模高可靠性的分割数据集
• SAM作者想要做什么
  • 建立一个在分割领域里的“基础模型”，通过prompt调整数据分布偏向，完成下游的分割任务
  • 难点在哪
    • 一个多样化，大规模的数据源
    • 设计一个可以prompt和部分提示分割的网络
    • 提示模糊问题
  • 如何解决
    • 数据引擎·
      • 手工标注，积累
      • 半自动化标注，积累
      • 自动化标注，整理成数据集SA-1B发布
        • 1100w图，10亿掩码
    • 网络架构设计的较为简单
      • 一个简单的prompt网络与一个较为复杂的图片解码网络一起输入到掩码网络中形成有效的输出
        • 图像编码器
          • 经过MAE训练的ViT，对其进行微调以处理高分辨率输入
        • 提示编码器
          • 稀疏提示
            • 点和框使用位置编码
            • 文本使用来自CLIP的现成文本编码器
          • 密集提示（掩码
            • 使用卷积嵌入并且逐元素求和
        • 掩码解码器
          • 使用一个修改的transformer解码块，跟一个动态的掩码预测头
    • 歧义感知能力
      • 使用32x32的网格点提示模型，用概率图寻找在范围内的合适掩码分割
      • 对单个提示预测多个掩膜，经验性总结使用3个掩模对应提示模糊问题，并且为每个预测掩模预测一个置信分数
    • loss选择的是focal loss与dice loss的线性组合，用以解决数据训练不均衡问题、
  • 探究的方向
    • 通过prompt和空间提示完成合理的掩码输出
    • 零样本任务
      • 单点提示分割
      • 边缘检测
      • 目标检测
      • 实例分割
      • 文本提示分割
• 变体
  • 重识别
    • PerSAM
      • https://arxiv.org/pdf/2305.03048.pdf
      • 自动化地在不同图像中分割特定的视觉概念，可能可以尝试于重识别
  • 透明物体分割
    • https://arxiv.org/pdf/2305.00278.pdf
    • 效果不是很好
  • 医学影像领域SAM
    • https://arxiv.org/pdf/2305.00109.pdf
    • https://arxiv.org/pdf/2304.14660.pdf
    • https://arxiv.org/pdf/2305.00035.pdf
    • https://arxiv.org/pdf/2304.12637.pdf
    • 在SAM的微调策略中，通过提示后模型性能良好,但是零样本泛化不足以胜任医学领域分割
    • skinSAM
      • https://arxiv.org/ftp/arxiv/papers/2304/2304.13973.pdf
      • 对于皮肤癌的高效诊断具有巨大潜力
    • GazeSAM
      • https://arxiv.org/pdf/2304.13844.pdf
      • 协助医生注视感兴趣的区域来分割掩模
    • SAMed
      • https://arxiv.org/pdf/2304.13785.pdf
      • 用于医学图像分割的通用解决方案
    • Med SAM Adapter
      • https://arxiv.org/pdf/2304.12620.pdf
      • 通过简单有效的适应技术将医学特定领域知识整合到分割模型中
    • MedSAM
      • https://arxiv.org/pdf/2304.12306.pdf
      • 较好的医学图像分割适应网络
  • 遥感领域泛化
    • Segment anything, from space?
    • 我们发现SAM在遥感图像上通常能够良好地进行泛化，尽管在某些情况下会因为遥感图像和目标对象的独特特征而失败。
  • 视频SAM
    • TAM
      • https://arxiv.org/pdf/2304.11968.pdf
      • 视频交互式跟踪分割
• 总结
  • 没有很多创新性，但是非常实用，将学术的transformer实例化的一个重要应用
  • SAM在文明的阶梯中，可能不是向上走的那一步，但一定是向前走了一步