图像分割算法综述

图像分割算法综述，包括传统图像分割方法、性能分析比较与总结、基于深度学习的分割方法－分割网络模型等内容。

图像分割方法综述

• 引言
  • 图像分割：图像划分成互不相交的、有意义的子区域
    • 同一区域像素点：相关性
    • 不同区域像素点：差异性
• 传统图像分割方法
  • 用途：
    • 图像处理预处理步骤
    • 获得图像的关键特征信息
    • 提升图像分析效率
  • 分类
    • 基于阈值：灰度图像分割方法
      • 实质：设定不同灰度阈值，对图像灰度直方图进行分类（同一灰度范围属于同一类，具有一定的相似性）
      • 过程：
        • f(i,j)：代表(i,j)的灰度值
        • T：灰度阈值
        • 通过将图像像素灰度值与阈值进行比较，分为目标和背景两部分输出图像g(i,j)变化，取值为0或1
          • 1（目标）：f(i,j)>=T
          • 0（背景）：f(i,j)<T
        • 阈值T越大，分为目标的像素点越多
      • 分类：
        • 基于点的全局阈值分割方法
        • 基于区域的全局阈值分割方法
        • 局部阈值分割方法
        • ... ...
      • 总结分析：
        • 适用情况：
          • 目标灰度分布均匀、变化小
          • 目标和背景灰度差异比较明显
        • 优点：
          • 简单易实现
          • 效率高
        • 不足：
          • 只考虑像素自身灰度值，未考虑图像语义、空间等特征信息
          • 易受噪声影响
          • 对复杂图像效果不理想
        • 实际应用：
          • 预处理方法
          • 与其他分割方法结合使用
    • 基于边缘
      • 理论依据：边界像素点灰度值与相邻像素点灰度值差异大
      • 过程：连接与相邻像素点的灰度值差异大的点（边缘点）形成边界轮廓
      • 分类：
        • 串行边缘检测法：先检测边缘起始点，从起始点出发通过相似性准则搜索并连接相邻边缘点
        • 并行边缘检测法：借助空域微分算子，用模板与图像进行卷积
          • Roberts
          • Sobel
          • Prewitt
          • LoG
          • Canny
          • ... ...
      • 总结：实际应用中，并行边缘检测法过程简单快捷，性能相对优良，最常用
    • 基于区域
      • 算法原理：根据图像空间信息进行分割，通过像素的相似性特征对像素点进行分类并构成区域
      • 分类
        • 区域生长法
          • 原理：将具有相似性质的像素点集合起来，构成独立区域
          • 过程：
            • 1.选择一组种子点作为生长起点（单个像素点或小区域均可）
            • 2.依据生长准则，将种子点与附近有相似特征的像素点归并倒种子点所在区域
            • 3.将新的像素点作为种子点，反复迭代直到所有区域全部检测完成，停止生长
          • 关键
            • 种子点
              • 选取方法
                • 人工选择
                • 算法自动选取
            • 生长准则（图像特征信息）
              • 颜色
              • 纹理
              • 空间
              • ... ...
          • 总结分析
            • 优点：计算简单
            • 不足：
              • 1.噪声敏感
              • 2.易导致区域空缺
        • 分裂合并法
          • 算法实质：不断的分裂合并，得到图像各子区域
          • 过程：
            • 1.将图像划分为规则区域
            • 2.依据相似性准则，分裂特性不同的区域，合并特性相同的邻近区域，直到没有分裂合并发生
          • 关键/难点
            • 初始划分
            • 分裂合并相似性准则
          • 总结分析
            • 优点：对复杂图像分割效果较好
            • 不足：
              • 1.计算复杂
              • 2.分裂时边界可能被破坏
    • 基于聚类
      • 算法原理：将具有特征相似性的像素点聚集到同一区域，反复迭代聚类结果直到收敛，最终将所有像素点聚集到几个不同的类别中，完成图像区域划分==图像分割
      • 典型算法举例分析
        • 简单线性迭代聚类SLIC(超像素分割) ==>图像分割转化成像素点聚类问题
          • 算法思想：基于聚类讲图象中的像素划分成超像素块
          • 算法步骤：
            • 1.RGB彩色图像映射转换成 Lab图像 （Lab空间保留更宽的色彩区域，提供更丰富的色彩特征）
              • L：亮度
              • a：从洋红色到绿色的范围
              • b：从黄色到蓝色的范围
            • 2.将每个像素点颜色特征（L，a，b）和坐标（x，y）组合成向量（L，a，b，x，y）进行距离度量
              • 像素点i和j之间的颜色距离
              • 像素点i和j之间的空间距离
              • 最终距离进行度量
                • 最大颜色距离：取整数[1,40]
                • 类内最大空间距离
                  • 超像素块大小－－相邻种子点的距离
                    • 图中像素点总数
                    • 预分割超像素块的总和
          • 优点
            • 性能稳定
            • 鲁棒性好
          • 适用：图像分割、姿势估计、目标跟踪及识别等
    • 基于图论
      • 算法思想：将分割问题转换成图划分，通过对目标函数的最优化求解完成分割
      • 经典算法举例
        • Graph Cut
          • 算法思路：最小割问题应用到图像分割问题中，将图像分割为前景和背景
          • 算法介绍：
            • 1.将图像映射为S－T图
              • 带有权重的无向图G=(V,E)
                • V：顶点集==顶点对应原图的像素点
                • E：边集==边的权重是像素点间的相似性
              • 每个节点与终端顶点S，T相连形成虚线边
                • 与S相连顶点虚线边权重为该点是前景目标的概率
                • 与T相连顶点虚线边权重为该点是背景的概率
            • 一种边：代表像素点的普通节点彼此相连形成的边；另一种边：终端顶点与连接它的节点的边
          • 2.求解能量损失函数最小的问题
            • cut：边集合中的所有边都断开－－S－T图的分开
            • min cut：一种cut中其对应边的所有权值之和最小
          • 3.寻找min cut不断迭代
          • 评价，求得能量损失函数最小值
            • 优点：利用图像灰度信息的同时使用了区域边界信息，通过最右化求解，得到最好的分割效果
            • 不足
              • 计算量大
              • 更倾向对具有相同类内相似度的图像进行分割
        • Grab Cut
        • One Cut
        • ... ...
    • 基于特定理论
      • 数学形态学理论
        • 克服噪声影响获得清晰边缘图像
      • 遗传算法
        • 模拟自然优胜略汰获得最优解，实现最优化分割
      • 小波变换
      • 活动轮廓模型
      • 模糊理论
      • 粗糙集理论
      • ... ...
• 基于深度学习的分割方法－分割网络模型
  • 全卷积网络 FCN（full convolution network）－－图像语义分割
    • 算法思路：
      • 经过8层卷积处理，对特征图进行上采样实现反卷积操作，通过SoftMax层进行分类，最后输出分割结果－－多次卷积操作，特征图尺寸远小于原输入图，丢失很多底层的图像信息，直接分类，影响分割精度
      • 上采样过程采用Skip策略
    • 算法过程
      • 把深层数据与浅层信息相结合，再恢复到原图的输出得到更准确的分割结果
      • 根据池化层不同分为
        • FCN－32s模型分割结果
          • 不同层级特征图
          • 卷积：7次
        • FCN－16模型分割结果
          • 池化：4次－－Pool4层
          • 双线性内插法－－Conv7
          • 融合后上采样分类
        • FCN－8s模型分割结果
          • 池化：3次－－Pool3层
          • 双线性内插法－－Conv7层、Pool4层
          • 融合后上采样分类
      • FCN－8s：整合更多层特征信息，分割得到更加清晰的轮廓信息，分割效果相对较好
    • 算法评价
      • 能对图像进行像素级别地分类，有效解决图像语义分割难题
      • 可以输入任意尺寸的图像
      • 首个端到端的分割网络模型
      • 不足
        • 网络相对较大－－对图像的细节信息不够敏感
        • 像素点之间的关联性较低－－目标边界模糊
  • 金字塔场景解析网络 PSPNet（pyramid scene parsing network）－－图像语义分割
    • 算法思想
      • 整合上下文信息，充分利用全局特征先验知识，对不同场景进行解析，实现对场景目标的语义分割
    • 算法过程
      • 1.给定输入图像
      • 2.CNN：得到卷积层特征图
      • 3.金字塔池化模块：收集不同子区间特征
      • 4.上采样
      • 5.串联融合各子区域特征
      • 6.形成包含局部和全局上下文信息的特征表征
      • 7.将特征表征卷积和SoftMax分类
      • 8.对每个像素的预测结果
    • 算法评价
      • 针对场景解析和语义分割任务－－能提取合适的全局特征
      • 利用金字塔池化模块－－将局部和全局信息融合在一起
      • 提出适度监督损失的优化策略
      • 不足：对目标间有遮挡的情况处理不够理想
  • DeepLab系列模型－－深度神经网络模型，图像语义分割
    • 算法核心：使用atrous卷积（卷积核里插孔的方式）
      • 计算特征响应时明确地控制响应的分辨率
      • 扩大卷积核的感受野
      • 在不增加参数量和计算量的同时，整合更多特征信息
    • 发展历程
      • 最早的DeepLab模型
        • 算法描述
          • 输入图像
          • 经过带有多孔（atrous）卷积层的深度卷积神经网络（DCNN）处理－－粗略的评分图
          • 双线性内插值上采样
          • 引入全连接条件随机场（CRF）s
          • 输出图像
        • 算法评价
          • 充分考虑全局信息，对目标边缘像素点进行更准确的分类
          • 排除噪声干扰，提升分割精度
      • DeepLab－v2模型
        • 将atrous扩展为多孔空间金字塔池化（ASPP）模块
        • 级联；多尺度atrous卷积层并进行特征图融合
        • 保留全连接CRF作为后处理
      • DeepLab－v3模型
        • 卷积池化：图像尺寸缩小4倍
        • 3个Block模块卷积：图像缩小8倍
        • 线性整流函数（ReLU）：图像缩小16倍
        • 池化处理：图像缩小16倍
        • Block4处理
        • ASPP模块：融合不同多孔卷积（插孔数rate=6、12、18）
        • 1*1卷积层、全局池化层整合：缩小16倍的特征图
        • 分类预测：分割图
      • DeepLad－v3+模型－－编解码结构
        • 算法描述
          • 编码部分：DeepLab－v3模型
          • 解码部分的输入
            • DCNN中浅层特征图
            • ASPP融合卷积后的特征图
          • 解码模块
            • 卷积：输入的浅层特征图
            • 融合：经过上采样的ASPP特征图
            • 输出：经过卷积和上采样的原始尺寸大小的分割图
        • 算法评价
          • 明显分出前景目标和背景
          • 目标边缘轮廓清晰
          • 该模型能实现细粒度的分割
  • Mask R－CNN－－图像实例分割
    • 起源：基于Faster R－CNN
    • 算法描述
      • 算法框架
        • 第一阶段：
          • 区域建议网络（region proposal networks，RPN）－－提出候选目标边界框架
          • 边界框里的内容（RoI）进行RoIAlign处理－－将RoI划分成m*m子区域
        • 第二阶段：
          • 与预测类和边界框回归任务并行－－增加为了每个RoI输出二分类掩码的分支 即，用FCN对每个RoI进行分割，以像素到像素的方式预测分割掩码
      • 训练阶段：使用多任务损失约束L
        • L=目标分类损失+检测任务损失+实例分割损失
    • 算法评价
      • 在语义分割的基础上实现了实例分割－－前景目标精准检测定位+对同类目标不同个体区分
        • 语义分割：识别图象中存在的内容和位置
        • 实例分割：在语义分割基础上区分同一类别下的不同个体
      • 分割精度更高
      • 模型更加灵活
      • 可以用来多种计算机视觉任务
        • 目标分类
        • 目标检测
        • 实例分割
        • 人体姿态识别
        • ... ...
• 性能分析比较与总结
  • 性能分析
    • 深度学习分割数据集：
      • PASCAL VOC
      • Microsoft COCO
      • Cityscapes
    • 定性分析
    • 定量分析
      • 语义分割：平均交并比mIoU，表示两个集合的交集并集之比，在语义分割中指真实值与预测值集合
      • 实例分割：像素精度PA，表示分类正确的像素占总像素的比例
  • 总结
    • 现状：
      • 图像分割在计算机视觉任务中的应用越来越广泛
      • 准确性和速度有了明显提升
    • 难题：
      • 分割数据集匮乏，标注工作繁重
      • 小尺寸目标分割不够精准
      • 分割算法计算复杂
      • 无法实现实时交互式分割，阻碍分割技术的落地、应用 和推广