图像分割

本图介绍了图像分割的类别和可视化方法，如PCA降维方法，将高层次特征降为2维查看分类效果，一起来看。

图像分割

• 类别
  • 识别
    • 图像的物体识别
  • 语义分割
    • 给每个像素分配类别标签
    • 思路
      • 滑动窗口
      • 全卷积
        • 让整个网络只包含卷积层，一次性输出所有像素类别预测
        • 在网络中嵌入下采样和上采样
      • 反池化操作
        • Upoolling
          • 记住下采样最大池化使用的下标，在上采样时候还原下标
        • 可学习的上采样—转置卷积
          • 通过卷积核将原来的值还原成原来的尺寸
          • 也可通过镜像将下采样学习的参数转移到上采样，保证信息流的不丢失
  • 目标检测
    • 单目标
      • 将最后的全连接数据分别进行分类和定位的全连接，分别计算loss并加和后作为loss输出
    • 多目标分类
      • R-CNN
      • Fast R-CNN
        • 区域裁剪RoI Align
          • 在像素点之间使用双线性差值，提取所有的相同的特征尺寸数据
      • Faster RCNN
        • 区域建议
          • 对于特征图的每个位置，通常会采用k个不同尺寸和分辨率的锚点区域
          • anchor
      • 一阶段目标检测
        • YOLO
          • 子主题 1
    • 实例分割
      • Mask RCNN
• 可视化
  • PCA降维方法
    • 将高层次特征降为2维查看分类效果
  • 查看特征图的响应结果，看卷积核对于图像感兴趣的部分
  • 显著性图Saliency Maps
  • Gram Matrix
    • 在卷积核中取两条对应位置相乘
  • FastStyle Transfer
    • 使用一张图作为风格图
    • 使用一张当做要布局的图片
    • 将要布局的图片先经过神经网络先提取特征，送入网络当做输出来进行迭代
  • 基于实例分割的归一化
  • 用梯度下降法做特征的可视化
  • 可视化工具Keras-vis
    • 初步查看网络性能
    • salinecy map
      • 像素级显示感兴趣区域
      • 观察权值的梯度大小分布做出拟合图像
    • gard-CAM
      • 图片级观察神经网络对图片感兴趣的区域
    • 最大化激活
      • 梯度上升方法看最后的特征结果