计算机视觉学习笔记

计算机视觉中遮挡目标检测与识别技术研究讲述了基于灰度信息的方法、基于边界信息的方法、基于局部特征的方法等，值得收藏学习哦！

遮挡目标检测与识别技术研究

• 1、引言
  • 遮挡发生位置不同
    • 物体遮挡
    • 自遮挡
  • 遮挡与被遮挡目标之间的关系
    • 部分遮挡
    • 大面积遮挡
    • 全部遮挡
  • 基于图像的遮挡目标检测与识别算法大致分为三类
    • （1）基于灰度信息的方法
    • （2）基于边界信息的方法
    • （3）基于局部特征的方法
• 2、基于灰度信息的方法（Intensity-based method）
  • 这类方法是最简单的目标识别方法，它充分利用了整个图像的灰度信息。通过一个模板在图像中逐像素的滑动，搜索整幅图像，具有最大互相关值的点就被认为是最佳匹配点。
  • 优点是思路明确、实现简单；缺点是由于遮挡情况下会使得图像中目标区域的灰度发生很大的改变，从而很难检测到目标。
  • 主要方法
    • 规格化互相关
    • 方差和
    • 增量符号相关
    • 规格化互相关+增量符号相关=选择互相关算法
      • 单独某一种方法对遮挡目标的检测是不准确的，通过结合多种方法的优点来实现遮挡目标的检测与识别是基于灰度信息法的一个好的解决方案。
      • 由于选择互相关算法在计算相似性时有效的屏蔽了被遮挡的部分区域，因此即使目标区域被部分遮挡，该算法仍能准确的识别出目标区域。
  • 基于灰度信息的方法利用图像的全局灰度信息，所以计算量较大；并且由于遮挡情况下图像目标区域灰度变化比较明显，所以对于处理遮挡问题效果不是很理想。 而基于局部边界和局部特征的方法因为不需要考虑图像灰度信息，所以对遮挡问题的处理更加方便。
• 3、基于边界信息的方法（Boundary-based method）
  • 3.1 基于轮廓信息（Contour-based）
    • 由于目标轮廓能够反映重要的特征信息，因此学者们提出了许多基于轮廓分段的部分遮挡目标识别算法。
      • 构造目标模型和码本的识别算法： 通过训练样本得到了最优的模型参数和构造码本的轮廓分段，然而其过程十分复杂。
      • 基于实例的算法： 具有计算复杂度低的优点，被广泛应用于识别遮挡目标。
    • 该类算法首先通过轮廓划分得到描述目标特征的分段轮廓，然后建立了包含已知目标特征的分段轮廓数据库，最后通过将遮挡目标的分段轮廓与数据库中的分段轮廓进行相似匹配从而识别遮挡目标。 其中，轮廓分段对于正确识别遮挡目标是相当重要的。
      • 1982年，Pavlidis T提出一种分段线性拟合方法，它能得到较好的分段结果，但它必须检查轮廓上的每一点，以判断一个点集是否共线，显然比较费时。
      • 为了加快轮廓分段速度，1994年，张桂林利用多边形近似方法将目标轮廓分段，抽取目标轮廓每一小段的不变矩形特征。
      • 子主题
      • 子主题
      • 子主题
    • 基于轮廓信息遮挡目标检测与识别方法发展的比较成熟，但是对于细节丰富的目标都表现不足，如何更好地对轮廓分段以及如何利用段间的相互信息还有待更深入的研究。
  • 3.2 基于边缘信息（Edge-based）
    • 基于边缘信息就是利用边缘的各种有用信息，遮挡目标检测识别中基于边缘的方法主要就是基于广义Hough变换（Generalized Hough Transform，GHT）。
      • Hough变换自提出以来，因其良好的全局判断能力在识别遮挡和被噪音干扰的目标问题上得到广泛应用。
  • 基于轮廓的方法和基于边缘的方法都是利用了目标物体的边界信息，因为边界的稳定性和可识别性都比较高，在遮挡情况下也能检测到未被遮挡的轮廓，所以基于边界的方法对部分遮挡具有较好的鲁棒性。
  • 如何更好地对目标轮廓进行分段，以及如何更有效地利用边缘的其他信息（例如，方向、梯度等）还有待进一步的研究。
• 4、基于局部特征的方法（Based on local features method）
  • 由于全局特征在图像出现变换时会表现出很大的不同，在遮挡情况下全局特征一样出现很大变化。针对全局特征容易受外部环境影响，提出了局部特征。
    • 局部特征的特征稳定性高，抗干扰能力强。局部特征不受附近杂乱场景或者部分遮挡的影响。
    • 局部特征包括角点、斑点和区域
    • 局部特征的一般思路是首先通过特征提取方法得到局部特征，然后基于局部特征的匹配进行目标检测与识别。
  • 4.1 角点特征（Corner features）
    • 角点是图像亮度发生剧烈变换或者图像边缘曲线上曲率极大值点。
    • 在现实中，角点对应于物体的拐角，道路的十字路口、丁字路口等。
    • 焦点所在的邻域也是图像中最稳定的、信息量比较丰富的区域。
    • 角点检测是基于局部特征方法的一种常用方法，由于在被遮挡的图像中依然有许多的角点可以被提取出来，所以角点是遮挡目标的一个重要的局部特征。
    • 经典的角点特征又Harris及Harris的各种扩展角点、SUSAN、FAST等； Harris以二阶矩阵（又称自相关矩阵）为基础，二阶矩阵描述了像素点局部邻域内的梯度分布信息。
    • 角点特征的检测精度取决于对角点的定义。角点特征在对遮挡目标进行检测时会产生很多干扰角点，有可能产生误匹配。
  • 4.2 斑点特征（Blob features）
    • 斑点通常是指与周围有着颜色和灰度差别的区域。 由于斑点代表的是一个区域，相比单纯的角点，它的稳定性要好，抗噪声干扰能力强。
    • 斑点包括LoG以及经典的SIFT和SURF等
      • LoG（Laplace of Gaussian）检测斑点方法是对二维高斯函数进行拉普拉斯变换，再规范化拉普拉斯变换。
      • SIFT由Lowe在1999年提出来并在2004年完善，它的主要思路是：
        • （1）构建图像金字塔，下一组的图像由上一组隔点降采样得到
        • （2）DoG（Difference of Gaussians）结果由每组上下两层高斯尺度空间图像相减得到
        • （3）通过与8邻域以及上下相邻尺度对应的9*2共26个点比较，确保在尺度和二维空间图像位置空间都检测到极值点
        • （4）通过Hessian矩阵删除边缘效应
        • DoG是对LoG的近似和简化，具有和LoG相同的性质。
        • SIFT算法不仅速度快并且对遮挡目标的鲁棒性很好。
      • SURF是在SIFT的基础上提出来的，其使用积分图像为基础，通过盒状滤波器建立金字塔来提取局部特征。
        • （1）求取积分图像，积分图像中任一点的值为原图像左上角到任一点相应的对角线区域灰度值之和
        • （2）DoH（Determinant of Hessian）的近似。 构建Hessian矩阵并求取行列式。
        • （3）尺度空间建立。 原图像保持不变，滤波器模板尺寸不断增大啊，求取Hessian矩阵行列式的响应图像。然后再响应图像上采用3D非最大值抑制，求取各种不同尺寸的斑点。
    • 斑点特征在遮挡目标的监测与识别中得到了很好的应用，不仅实现速度快，而且鲁棒性好。实验表明在遮挡情况下也能检测到目标。
  • 4.3 区域特征（Region features）
    • 区域特征的一般方法是，通过图像中具有某种同类性质的像元进行分类，然后将具有同类性质的像元连接成区域，从而实现区域检测。
    • 区域包含MSER，Saliency region detector，EBR，IBR等。
      • MSER的实现过程
        • （1）对给定的图像根据灰度值排序
        • （2）按照降序或升序将排序后的像素放入图像中
        • （3）Qi表示二值化阈值对应的二值图像中的任意连通区域，二值化在一定范围变化时，连通区域也相应的变化，在这个范围内具有极小变化率的区域被认为是MSERs
    • 区域特征能够处理尺度变化，仿射变换等，对部分遮挡也有一定鲁棒性，但是计算复杂，而且因为区域特征是针对目标区域的一块区域来检测的，在大面积的遮挡下目标是检测不出来的。
• 5、结语
  • 基于灰度信息的方法适应范围比较小，对光照变化和遮挡敏感
  • 基于边界信息的方法对光照变化有一定鲁棒性，但对目标边界提取算法要求较高
  • 基于局部特征的方法能够提取出较稳定的目标局部特征，对光照变化、尺度和旋转变化、遮挡等情况都有较好的鲁棒性
  • 基于局部特征的目标检测与识别方法是将来的发展趋势。其中，大面积遮挡情况下的检测与识别依然是一个难题。因此，设计出一种鲁棒性强、适合各种遮挡情况的检测与识别算法是一个今后研究的方向。