计算机视觉 数字图像处理

详细介绍了传统计算机视觉的方法，包含数字图像处理基础知识、图像复原、 图像压缩、图像分割等，常用于对图像的预处理。希望对你有所帮助！

数字图像处理

• 数字图像处理基础知识
  • 简介
    • “图”是物体反射或透射光的分布.“像”是人的视觉系统所接受的图在人脑中所形成的印象或认识。
    • 图像就是所有具有视觉效果的画面，是各种图形和影像的总称。
    • 图像所包含的信息量很大，“百闻不如一见”“一目了然”。
    • 一幅图像用数学方法可描述为
      • I=f(x, y, z, λ, t)
      • 其中x、y、z 是空间坐标，λ是波长，t 是时间，I 是光强度。
      • 对静态图像t 为常数。对于单色图像λ为常数。对平面图像z 为常数。
    • 光波：人类感知只限于电磁波谱的视觉波段，成像机器则可以覆盖几乎全部电磁波谱。
  • 图像数字化
    • 数字图像
      • 把模拟图像用数字表示出来，用数字表示的图像就是数字图像。
      • 将模拟图像经过离散化处理得到数字图像的过程，叫图像的数字化
    • 过程
      • 采样
        • 在空间上把图像分割成一块块小区域(像素)，每个像素都有一个二维坐标（整数）
        • 影响
      • 量化
        • 每个像素的亮度或灰度值被映射到相应的灰度级，每级灰度一般用一个整数来表示。
        • 若量化灰度级数L=256，取值范围是0~255的整数，用8bit能表示灰度图像像素的灰度值，称8 bit 量化。
  • 数字图像表示
    • 数学表示
      • 二值图像
      • 灰度图像
      • RGB图像
    • 图像存储格式
      • BMP格式：Windows系统用的位图文件
      • GIF格式：可存放多幅图像（动画）
      • TIF(F)格式：独立于OS和FS，便于交换
      • JPEG格式：压缩标准
    • 图像的基本属性
      • 图像像素数量
        • 图像像素数量是指在位图图像的水平和垂直方向上包含的像素数量。单纯增加像素数量并不能提升图像的显示效果，图像的显示效果由像素数量和显示器的分辨率共同决定。
      • 图像分辨率
        • 图像分辨率是指图像在单位打印长度上分布的像素的数量，主要用以表征数字图像信息的密度，它决定了图像的清晰程度。在单位大小面积上，图像的分辨率越高，包含的像素点的数量越多，像素点越密集，数字图像的清晰度也就越高。
      • 图像大小
        • 图像大小决定了存储图像文件所需的存储空间，一般以字节（B）进行衡量，计算公式为：字节数=（位图高×位图宽×图像深度）/8。从计算公式可以看出，图像文件的存储大小与像素数目直接相关。
      • 图像颜色
        • 图像颜色是指数字图像中具有的最多数量的可能颜色种类，通过改变红、绿、蓝三原色的比例，可以非常容易地混合成任意一种颜色。
      • 图像深度
        • 图像深度又称为图像的位深，是指图像中每个像素点所占的位数。图像的每个像素对应的数据通常可以用1位或多位字节表示，数据深度越深，所需位数越多，对应的颜色表示也就越丰富。
      • 图像色调
        • 图像色调指各种图像颜色对应原色的明暗程度（如RGB格式的数字图像的原色包括红、绿、蓝3种），日常所说的色调的调整也就是对原色的明暗程度的调节。色调的范围为0～255，总共包括256种色调，如最简单的灰度图像将色调划分为从白色到黑色的256个色调。RGB图像中则需要对红、绿、蓝3种颜色的明暗程度进行表征，如将红色调加深图像就趋向于深红，将绿色调加深图像就趋向于深绿。
      • 图像饱和度
        • 图像饱和度表明了图像中颜色的纯度。自然景物照片的饱和度取决于物体反射或投射的特性。在数字图像处理中一般用纯色中混入白光的比例衡量饱和度，纯色中混入的白光越多，饱和度越低，反之饱和度越高。
      • 图像亮度
        • 图像亮度是指数字图像中包含色彩的明暗程度，是人眼对物体本身明暗程度的感觉，取值范围一般为0%～100%。
      • 图像对比度
        • 图像对比度指的是图像中不同颜色的对比或者明暗程度的对比。对比度越大，颜色之间的亮度差异越大或者黑白差异越大。例如，增加一幅灰度图像的对比度，会使得图像的黑白差异更加鲜明，图像显得更锐利。当对比度增加到极限时，灰度图像就会变成黑白两色图像。
      • 图像层次
        • 在计算机设计系统中，为更加便捷有效地处理图像素材，通常将它们置于不同的层中，而图像可看作由若干层图像叠加而成。利用图像处理软件，可对每层进行单独处理，而不影响其他层的图像内容。新建一个图像文件时，系统会自动为其建立一个背景层，该层相当于一块画布，可在上面做一些其他图像处理工作。若一个图像有多个图层，则每个图层均具有相同的像素、通道数及格式。
  • 像素间的基本关系
    • 基本关系
      • 一幅图像f(x,y)由基本单元像素组成，像素间存在着一定的联系，包括像素的邻域，邻接和连通，以及像素间的距离。一般地，当指定某个特定的像素时用小写字母（如p）表示。
    • 邻域
      • 像素p的邻近像素组成了该像素的邻域
      • 4领域
      • 8领域
      • 对角领域
    • 邻接
      • 对于任意两个像素，若一个像素在另一个像素的邻域中，且它们的灰度值满足特定的相似准则(例如属于某一个灰度值集合)，则称这两个像素是邻接的
      • 4邻接
      • 8邻接
      • m邻接
        • 若符合下列两个条件之一
          • q在p的4邻域中
          • q在p的对角领域中，并且q的4邻域与p的4领域交集像素中没有灰度值属于V。
        • 则称p,q两点是m邻接。
    • 连通
      • 4-连通
      • 8-连通
      • m-连通
    • 距离
      • 欧式距离
      • 城区距离
      • 棋盘距离
  • 数字图像处理应用
    • 工业应用
      • 在生产线中对生产的产品及部件进行无损检测，如玻璃瓶检测
    • 公共安全应用
      • 指纹识别具有安全性、可靠性及高效性，在公安、信息安全、电子商务等领域具有很广泛的应用。
      • 个人身份认证还包括人脸、虹膜、掌纹、签名等图像。
    • 医学应用
      • 血细胞计数，血液常规检查的主要内容，有无疾病，疾病的严重程度的重要数据。
    • 地质应用
      • 钻孔摄像技术，获取大范围孔壁全景图以直接观察地质内部结构。
    • 环境检测应用
      • 火灾识别及定位：对可见光图像与红外图像进行匹配，识别火灾并确定其位置。
    • 海洋应用
      • 浒苔检测：以遥感影像为数据源，实现浒苔的快速检测。
      • 海洋鱼群检测与跟踪。
    • 军事应用
      • 航拍侦查目标定位。
    • 娱乐应用
      • 变脸
  • 图像工程
    • 图像处理
      • 图像 -> 图像
      • 视觉效果上改善
      • 降低噪声的图像预处理、对比度增强和图像锐化
      • 图像采集、获取及存储，图像增强，图像复原，图像（视频）压缩（编码）
    • 图像分析
      • 图像 -> 数据
      • 提取出有用信息
      • 图像分割及目标的描述，输出是目标的特征数据
      • 边缘检测、图像分割（目标背景分开），目标表达、描述、测量，目标颜色、形状、纹理、运动的分析，目标检测、提取、跟踪、识别和分类，人脸识别
    • 图像理解
      • 图像 -> 解释
      • 目标物体及相互关系的理解，输出是更抽象的数据
      • 图像配准、匹配、融合，3-D表示、建模、重构、场景恢复，图像理解、推理，基于内容的图像检索
• 图像的数学变换
  • 坐标的空间变换
    • 基本概念
      • 几何变换通常称为橡皮膜变换，假设在一块橡皮膜上印刷一幅图像，然后根据预定的一组规则拉伸该橡皮膜。
      • 几何变换改变了图像中像素间的空间关系。由两个基本操作组成：坐标的空间变换（坐标变换）和变换后坐标像素的灰度值（灰度插值）。
    • 坐标变换
      • 在两个方向上把原图像缩小一半
      • 仿射变换
        • 图像处理中常用的坐标变换是仿射变换
        • 恒等变换
        • 平移变换
        • 旋转变换
        • 缩放变换
        • 剪切变换
          • 沿x轴剪切
          • 沿y轴剪切
    • 前向映射和后向映射
      • 前向映射：若给出图像上任意像素的坐标，通过对应的映射关系获得几何变换后的像素坐标位置。
      • 后向映射：由输出图像像素坐标来推算该像素在源图像的坐标位置。
  • 灰度插值
    • 基本概念
      • 把一幅图像上的像素重新定位到一个新位置，还必须对这些新位置赋灰度值，即灰度插值。
    • 类型
      • 最近邻插值
        • 选择离它所映射到的位置最近的输入象素的灰度值为插值结果。
        • 缺点：邻近象素点灰度值有较大改变时，其细微结构会变得粗糙。
      • 双线性插值
        • 根据四个相邻点的灰度值，分别在x和y方向上进行两次插值。插值函数为一双曲抛物面方程
        • 是对最近邻法的一种改进，由此双曲抛物面与四个相邻已知点进行拟合。
        • 缺点：双线性插值计算方法由于已经考虑了四个邻点对它的影响，因此一般可以得到令人满意的结果。但是，这种方法具有低通滤波性质，使高频分量受到损失，图像轮廓有一定模糊。如果要得到更精确的灰度插值效果，可采用高阶插值修正。
      • 双三次插值
        • 根据16个相邻点的灰度值进行插值
  • 傅里叶变换
    • 频域图像处理基本步骤
      • 傅里叶变换
        • 对图像进行傅里叶变换。这不是得到一个波，而是将图像从空间域（即原始的像素表示）转换到频域。在频域中，图像被表示为一系列不同频率的波的组合。这个转换让我们能够看到图像中不同频率分量的分布，其中包括低频（代表图像的慢速变化部分，如平滑区域）和高频分量（代表快速变化部分，如边缘和细节）。
      • 频域滤波
        • 在频域中，你可以选择应用高频滤波器或低频滤波器对图像进行处理。
        • 具体见图像增强的频域滤波
      • 逆傅里叶变换
        • 经过滤波处理的频域数据然后通过逆傅里叶变换转换回空间域。这个逆变换的结果是一个修改过的图像，它反映了频域滤波的效果。
    • 傅里叶级数和傅里叶变换
      • 满足一定的数学条件，任何周期函数都可以表示为不同频率的正弦和的形式。
      • 满足一定的数学条件，非周期函数也可表示为正弦乘以加权函数积分的形式，即傅里叶变换。
      • 用傅里叶级数或傅里叶变换表示的函数特征完全可以通过傅里叶反变换重建，且不会丢失任何信息。
    • 一维离散傅里叶变换
    • 二维离散傅里叶变换
    • 一幅灰度图像进行二维傅里叶变换后的频谱图中,最亮的部分对应着原始图像的低频分量
      • 低频成分：这些成分代表了图像中的慢速变化部分，比如整体的灰度级变化或者平滑的区域。在傅立叶频谱图中，低频成分通常集中在图像的中心区域。
      • 高频成分：这些成分代表了图像中的快速变化部分，比如边缘和细节。在频谱图中，高频成分通常位于中心点周围较远的区域。
  • 离散傅里叶变换基本性质
    • 可分离性
    • 平移性
    • 周期性
    • 共轭对称性
    • 旋转不变性
    • 比例性
    • 平均值
    • 卷积定理
• 图像增强
  • 图像增强的基本概念
    • 图像增强的性质
      • 不深究图像降质的原因，根据图像特点和处理目的进行修正，得到更“好”或更“有用”的图像
      • 图像增强是为了某种应用目的去改善图像质量，处理的结果更适合于人的视觉特性或机器识别系统。
      • 按特定的需要突出一幅图像中的某些信息，同时，消弱或去除某些不需要的信息的处理方法
      • 增强处理并不能增加原始图像的信息，只能提升对某些信息的辨识能力，并且这种处理可能造成其它信息的部分损失。
    • 基本方法
      • 操作
        • 空间域方法
          • 空间域法是指在图像空间域内直接对像素灰度值进行运算处理，常用有灰度变换、直方图修正、模板卷积、伪彩色处理等。
        • 频率域方法
          • 频率域法就是在图像的某种变换域内，对图像的变换值进行增强处理，然后通过逆变换获得增强图像，是一种间接处理方法。
      • 目的
        • 平滑
          • 平滑对图像有模糊作用，使得图像过渡自然柔和，抑制噪声；
          • 基于图像频率特性从频率的角度来理解，平滑是保持或加强图像中的低频成分，削弱或消除图像中的高频成分。
        • 锐化
          • 锐化可看作是平滑的反操作，效果和目的是突出细节，使图像轮廓清晰、对比分明；
          • 从频域处理的角度来看，锐化是增强图像中的高频成分。
      • 效果
        • 根据图像的频率特性分析，一般认为整个图像的对比度和动态范围取决于图像信息的低频部分（指整体图像），而图像中的边缘轮廓及局部细节取决于高频部分。
        • 因此采用二维数字滤波方法来进行图像处理，如采用高通滤波器，有助于突出边缘轮廓和图像细节部分，而用低通滤波器可以平滑图像减少噪声。
    • 应用评价
      • 相当主观
      • 在实际应用中，可同时选几种增强算法进行试验，从中选出视觉效果比较好、计算复杂性相对小、又合乎应用要求的算法。
  • 灰度变换
    • 灰度映射原理
      • 灰度映射是一种基于图像像素的点操作
      • 根据增强的目的设计某种映射规则，并用相应的映射函数来表示
      • 利用映射函数可将原始图像中每个像素的灰度都映射到新的灰度
      • t=T(s)
    • 类型
      • 图像取反
        • 灰度值进行反转，黑变白
        • 图像取反操作通常用于增强图像中的低灰度部分，使其变得更亮或更突出。
        • 如果图像主体灰度偏亮，取反操作可能会使主体变得更暗。
        • 要增强灰度偏亮的图像主体，通常需要使用其他图像增强技术，如直方图均衡化或对比度增强。取反操作更适用于增强图像中的暗部细节。
      • 增强对比度
        • 增强图像各部分的反差，实际中增加图像中某两个灰度值间的动态范围来实现
      • 动态范围压缩
        • 增强对比度相反，有时原图的动态范围太大，超出某些显示设备的允许动态范围，这时如直接使用原图，则一部分细节可能丢失
      • 通过函数变换修改灰度分布
        • 通过应用一个数学函数来调整图像中每个像素的灰度值
        • 线性变换
        • 非线性变换
          • s=cr^γ
          • 左上为原图：c=1，Y分别取3.0、4.0、5.0
  • 直方图
    • 直方图的定义
      • 灰度直方图是表示一幅图像灰度分布情况的统计图表。
      • 横坐标是灰度级，一般用r表示，纵坐标是具有该灰度级的像素个数或这个灰度级出现的概率
    • 直方图的性质
      • 一幅图像对应一个直方图，但直方图并不一定只对应一幅图像
      • 直方图仅能统计灰度像素出现的概率，反映不出该像素在图像中的位置
      • 直方图均衡化主要用于改善提高图像的全局对比度，而平滑和锐化则分别用于降低和增加图像的局部对比度和细节。
      • 有些特殊情况下，直方图均衡化可能不会显著改变对比度，或者甚至可能使对比度略有下降。
        • 已经均匀的直方图：如果一个图像的直方图已经是均匀分布的，或者亮度分布非常接近均匀分布，那么进行直方图均衡化可能不会改变其对比度。
        • 特殊的亮度分布：在某些特殊的亮度分布情况下，直方图均衡化可能导致部分区域的细节丢失，从而可能在这些区域内降低对比度。
        • 极端的亮度值集中：如果图像中的大部分像素都集中在亮度范围的极端（非常亮或非常暗），直方图均衡化可能导致这些区域的对比度降低。
    • 直方图与图像灰度分布
    • 直方图均衡化
      • 图像的灰度分布应该充分利用整个灰度范围，各灰度级的像素数大致均匀分布。
      • 通过调整图像的直方图来实现，使得输出图像的直方图尽可能均匀分布，从而使图像中的亮度分布更加均匀。
      • 不属于平滑或锐化
    • 直方图规定化
      • 对原始直方图进行灰度均衡化
      • 规定需要的直方图，计算能使规定直方图均衡化的变换
      • 将原始直方图对应映射到规定直方图
    • 对比
  • 图像间的运算
    • 算数运算
      • 加运算
        • C(x,y)=A(x,y)+B(x,y)
        • M个图像的均值定义为
          • g(x,y)=1/M(g0(x,y)+g1(x,y)+…+gM(x,y))
        • 应用
          • 去除“叠加性”随机噪音
          • 生成图像叠加效果
      • 减运算
        • C(x,y) = A(x,y) - B(x,y)
        • 应用
          • 消除背景影响
          • 差影法
            • 把同一景物在不同时间拍摄的图像或同一景物在不同波段的图像相减，检测同一场景两幅图像之间的变化
            • 能用于指导动态监测、运动目标检测和跟踪、图像背景消除及目标识别等。
      • 乘运算
        • C(x,y) = A(x,y) * B(x,y)
        • 应用
          • 图像的局部显示
      • 除运算
        • C(x,y) = A(x,y)/ B(x,y)
        • 应用
          • 常用于遥感图像处理中
    • 逻辑运算
      • 只可用于二值（0和1）图像
      • 分类
        • 与（AND）：记为p AND q（也可写为p·q或pq）
        • 或（OR）：记为p OR q（也可写为p + q）
        • 补（COMPLEMENT，也常称反或非）：记为NOT q（也可写为 )
  • 空域滤波
    • 空域滤波直接作用于像素，而频域滤波则涉及对图像的频率成分进行操作。
    • 在图象空间借助模板进行邻域操作
    • 分类1
      • 线性：邻域平均法
        • 基本原理
          • 最基本的图像平滑算法
          • 平滑可以在空间域进行，也可在频率域进行
          • 以图像中每个像素为中心取它的领域R，计算邻域中所有像素的灰度加权平均值，作为中心像素的输出
        • 主要作用
          • 消除或减少噪声，改善图像质量
          • 模糊图像，使图像看起来柔和自然
        • 实现过程
          • 通常借助于模板的卷积运算来实现
          • 具体步骤
            • 将模板在图像中从左到右、从上到下滑动，模板中各个位置点与图像中的某个像素点重合；
            • 将模板每个位置上的系数与它所重合的像素灰度值相乘；
            • 将所有乘积求和；
            • 把求和的结果赋给模板中心对应的像素。
        • 模板形式
          • 特点
            • 系数分布规律一般是中心大、四周小
            • 系数之和等于1以保证图像处理前后总体灰度不变
            • 为更好地保持边缘，还可以采用十字形、一字形等模板
      • 非线性：中值滤波
        • 算法原理
          • 用一个含有奇数个像素的窗口在图像中滑动，将窗口中心点的灰度值用窗口内各点灰度的中值代替。
        • 算法特性
          • 是一种非线性处理技术
          • 与邻域平均法相比，中值滤波在一定程度上可以克服线性滤波器所带来的图像细节模糊，特别对脉冲干扰及图像扫描噪声非常有效。在去除噪声的同时，可以比较好地保持边缘的锐度及图像细节。
          • 对于图像中的边缘，灰度常常是阶跃变化或斜坡变化的，中值滤波能够很好的保持而没有模糊作用。
          • 通常来讲，中值滤波能够在滤除噪声的同时很好地保持图像的边缘，这是线性均值滤波难以实现的。
          • 另外，滤波效果和窗口的大小有关系，合理选择窗口的尺寸是用好中值滤波的关键。
          • 不能改善图像对比度
    • 分类2
      • 平滑
        • 邻域平均法
        • 中值滤波
      • 锐化
        • 基本概念
          • 目的：加强图像中景物的细节边缘和轮廓。
          • 作用：使灰度反差增强。
          • 基础：因为边缘和轮廓都位于灰度值突变的地方，微分运算是求灰度值的变化率，所以锐化算法以微分（差分）运算为基础。
          • 算子（Operator）：是一个在数学和物理学中广泛使用的概念，用于描述一个将某个元素（或元素集合）映射到另一个元素（或元素集合）的规则或函数。算子可以是简单的数学运算，如加法或乘法，也可以是更复杂的操作，如微分、积分或线性变换。
          • 微分曲线
          • 方法
            • 梯度法
            • 拉普拉斯算子法
            • 定向滤波
              • 线性锐化滤波器
          • 属于线性变换
        • 算法思路
          • 图像锐化可看作是平滑的反操作，目的是强化图像细节和边缘，对图像有去模糊的作用。
          • 要实现锐化的目的，可设法将需要强化图像细节信息提取出来再进行强化。
          • 空域平滑的实质就是对图像进行局部平均，是一种积分运算；相应地，图像锐化可以用积分的反运算——“微分”来实现。
          • 微分运算是求信号的变化率，变化快的地方是图像中的细节和边缘。把微分结果按一定比例和原图相加即能使使图像轮廓清晰，细节突出。
        • 一阶微分算子
          • 一阶微分算子
          • 二维一阶微分算子
          • 求梯度的两种差分运算
            • 水平垂直差分
            • 交叉差分
          • 单方向的一阶微分算法
            • 概念
              • 单方向的一阶微分算法是指给出某个特定方向上的边缘信息。
              • 图像为水平、垂直两个方向组成。所以，单方向微分算法实际上是水平方向或垂直方向上的锐化。
            • 分类
              • 水平锐化算法
                • 水平方向的锐化非常简单，通过一个可以检测出水平方向上的像素值的变化的模板来实现。
              • 垂直锐化算法
                • 通过一个可以检测出垂直方向上的像素值的变化的模板来实现。
          • 交叉微分算法
          • 计算结果中出现了小于零的像素值
            • 解决方法：可以作一个简单的映射
            • [gmin,gmax]→[0,255]
        • 二阶微分算子
          • 公式
          • 算子
            • Laplacian算子
            • Laplacian变形算子
            • log算子
            • dog算子
          • 一阶微分与二阶微分的边缘提取效果比较
            • Sobel算子获得的边界是比较粗略的边界，边界信息较少，但是比较清晰；
            • Laplacian算子获得的边界是比较细致的边界。边界包括了许多的细节，但不是太清晰。
  • 频域滤波
    • 低通滤波
      • 原理
        • 高频和低频
          • 低频分量：低频分量代表了图像中的缓慢空间变化，也就是说，在图像的这些区域，像素值（无论是亮度还是颜色）变化得很慢。这通常对应于图像中的大块均匀区域，如平静的天空、墙面或其他没有太多纹理和边缘的部分。低频分量与图像中的全局信息相关，如背景的亮度、颜色渐变等。
          • 高频分量：高频分量代表了图像中的快速空间变化，也就是说，在图像的这些区域，像素值迅速变化。这通常对应于图像中的细节部分，如边缘、纹理、图案和噪声。高频分量揭示了图像中的局部特征，如物体的轮廓、纹理的细节等。
        • 利用频域滤波可以有选择性地增强或抑制图像某些内容。可用低通滤波降低高频成分实现图像平滑。
        • 属于平滑
      • 低通滤波器
        • 理想低通滤波器(ILPF)
          • • D0 是滤波器的截止频率，是一个非负量
            • D(u,v)是从频率平面上点(u,v)到原点的距离
          • 低通滤波降低高频成分，噪声和图像边缘被削弱，图像模糊
          • 理想低通滤波有振铃效应
        • 巴特沃斯低通滤波器(BLPF)
          • 与理想低通滤波器相比，巴特沃斯滤波器通带与阻带之间没有明显的跳跃，在高低频率间的过渡比较光滑，所以用得到的输出图像没有明显的振铃现象。
          • 从传递函数的特性曲线可以看出，在尾部保留有一定的高频，所以对噪声的滤除效果不如理想低通滤波器。
        • 指数低通滤波器(ELPF)
        • 梯形低通滤波器(TLPF)
        • 滤波效果对比
          • 低通滤波的结果都有不同程度的模糊，随着截止频率的升高，图像的模糊程度变轻。
          • 在同样的截止频率下，ELPF处理的结果模糊程度最轻，其次是BLPF，而ILPF的模糊程度最重。
          • 当截止频率低的时候，几种滤波器的滤波效果差别比较大，随着截止频率的升高，滤波结果慢慢趋同。
          • ILPF和TLPF有明显的“振铃”现象，振荡的频率随着截止频率的升高而升高，BLPF和ELPF没有明显的“振铃”现象。
    • 高通滤波
      • 原理
        • 图像边缘对应频谱中的高频分量，因此采用高通滤波器可将图像边缘提取出来。
        • 与原图叠加可使边缘更清楚，从而实现图像的锐化。
        • 属于锐化
      • 算法
        • 对应图像平滑部分的低通滤波器，可得相应的高通滤波器。
        • 高通滤波器可以表示为(1-低通滤波器)
    • 同态滤波
      • 同态滤波是一种特殊的图像处理技术，它同时包含图像平滑和锐化的特性，但其主要目的并非仅仅是平滑或锐化图像。同态滤波主要用于改善图像的光照情况，通过同时增强图像的对比度和压缩图像的动态范围来提高图像质量。
      • 照明反射模型
        • 同态滤波技术是基于图像的照明反射成像原理的滤波方法。
        • 在频域中能够同时实现图像亮度范围的压缩和对比度的增强，尤其适用于因光照不均匀造成的成像。
        • 观察者或者成像系统所获得的图像一般取决于目标上的反射光，分成①入射到场景上的可见光量；②场景中目标的反射光量
          • 入射光量和外界的光照有关，而反射系数取决于物体的特性，
          • 浅颜色的、光滑的表面反射系数大
          • 深颜色的、粗糙的表面反射系数小
      • 算法原理
        • 图像表示成照度分量和反射分量的乘积
          • 照明分量在空间上变化缓慢，以低频成分为主
          • 反射分量在空间中不同的物体交界处是剧烈变化的，反映着表面的变化和细节，包含着很多高频成分
        • 照明分量和反射分量在处于不同的频段，可以用取对数的方法把它们的相乘变为相加，然后就可以对这两部分采用不同的处理
        • 照度分量处于低频，要消除光照不均可抑制低频。同时为突出图像细节可提升高频成分。
      • 处理实例
        • 同时实现减弱低频和加强高频，压缩图像的动态范围而且提高各部分之间的对比度。
• 图像复原
  • 无约束法恢复图像
    • 图像退化过程可看成是一种变换
    • 由g(x,y)求f(x,y)就是求其逆变换的过程
    • 在实际中，T(-1)有多种情况
      • T(-1)不存在，即奇异
      • T(-1)存在，但不唯一
      • T(-1)存在，唯一，但g（x，y）小的扰动就会引起f（x，y）大的变动
      • T(-1)存在，唯一，但其解太复杂，或几乎不可解
      • T(-1)存在，唯一，无病态问题，且可求解
    • 在线性移不变系统的情况下，从退化模型的矩阵表达式出发
    • 这里的噪声是广义的，在没有先验知识的情况下，要找一个f的估计，并在最小二乘方意义上使下式达到最小
  • 逆滤波法恢复图像
  • 维纳滤波法
• 图像压缩
  • 无损编码
    • 变长编码
      • 霍夫曼编码
      • 算术编码
    • 定长编码
      • 行程编码
      • 位平面编码
      • LZW编码
  • 有损编码
    • 预测编码
    • 变换编码
• 图像分割
  • 图像分割概述
    • 为什么要分割
      • 分割就是把图像分为互不重叠的区域，并提取出感兴趣的区域。
    • 地位
      • 图像分割是图像处理过渡到图像分析和理解的关键步骤，也是一种基本的计算机视觉技术。
    • 概念
      • • 全部子区域的总和（并集）应能包括图像中所有象素，或者说分割应将图像中的每个象素都分进某一个子区域中。
        • 各个子区域互不重叠，或者说1个象素不能同时属于2个区域。
        • 属于同一区域的象素应该具有某些相同特性，区域边界是明确的。
        • 属于不同区域中的象素应该具有一些不同的特性。
        • 要求同一个子区域内的象素应当是连通的。
    • 性质
      • 区域内部：相似性
        • 做法：根据图像像素灰度值的相似性，通过选择阈值，找到灰度值相似的区域，区域的外轮廓就是目标对象的边。
      • 区域之间：不连续性
        • 做法：根据图像像素灰度值的不连续性，先找到点、线、边，再确定出区域。
    • 思路
      • 1）从简到难，逐渐分割：
      • 2）控制背景环境，降低分割难度；
      • 3）把焦点放在增强感兴趣对象、减小不相干部分的干扰上。
    • 方法
      • 基于区域内部灰度值相似性的一类分割方法。确定每个像素点的归属区域，从而形成一个区域图
        • 阈值分割法
        • 区域生长
        • 分裂合并
        • 形态学分割
      • 基于区域之间灰度值不连续性的一类分割方法。基于边缘的分割方法，先提取区域边界，再确定边界限定的区域。
        • 边缘检测分割法
        • Hough变换
    • 要求
      • 有效性
      • 整体性
      • 精确性
      • 稳定性
  • 阈值分割
    • 阈值分割概述
      • 原理
        • 图像包含：目标、背景；二者在灰度特性上有差异；选取一个合适的阈值；确定图像中每个象素点的归属；最后分割产生二值图像。
      • 步骤
        • 确定合适的分割阈值
        • 将每个象素值与阈值比较以划分象素归属
      • 阈值的分类
      • 特点
        • 计算简单
        • 对目标和背景对比强烈的图像分割特别有效
        • 总能用封闭且连通的边界定义不交叠的区域
        • 可推广到其它特征，如纹理、颜色等
    • 直方图阈值
      • 基本思想
        • 目标和背景内部的像素灰度值高度相似，而它们交界处两边的像素灰度则差别很大，图像的直方图基本上可看作是由目标和背景两个单峰直方图叠加而成。若目标和背景灰度差别比较大时，图像的直方图应该是双峰的。
      • 阈值的选取
        • 取直方图谷底（最小值）的灰度值为阈值T。
      • 存在的问题及改进
        • 易受噪声干扰，最小值不是期望的阈值。
        • 改进
          • 取两个峰值之间某个固定位置，如中间位置上。由于峰值代表的是区域内外的典型值，一般情况下，比选谷底更可靠，可排除噪声的干扰。
          • 加强对噪声的处理，如对直方图进行平滑等。
    • 最优阈值
      • 问题
        • 图像直方图没有双峰一谷现象，或即使阈值有双峰一谷现象，但谷点并不是准确的阈值点；
      • 思想
        • 使分割结果错分概率最小，也称最小错误概率阈值。
      • 具体做法
        • 设定目标和背景的概率及其灰度分布概率密度函数；
        • 给定一个阈值t，求每类的分割错误概率；
        • 求此阈值下总分割错误概率e(t)；
        • 由总分割错误概率e(t)的极小值求解最优阈值T。
    • 最大类间方差阈值
      • 基本思想
        • 所选阈值等使得分割目标和背景区域之间的总体差别最大，在某种程度上，可认为分割结果已达到了最优。区域间的这种差别常用方差来描述。
        • 方差是阈值k的函数，k发生变化，区域间的方差也随之变化，选择使方差最大的k，也称为最大类间方差阈值。
        • 最大类间方差阈值的求解过程不需要人为设定其他参数，完全由计算机自动选取。它不仅适用于两个区域的分割，也可以推广到多个区域的情形。
      • 具体做法
        • pass
  • 边缘检测分割
    • 边缘检测分割的原理
      • 边缘的定义
        • 图像中灰度有阶跃或屋顶变化的那些像素的集合。
      • 边缘的分类
      • 边缘检测分割的原理
        • 通过寻找图像中不同区域的边界，从而实现图像的分割。它是基于边界的一大类图像分割方法。
    • 一阶边缘检测算子
      • 好的检测算子需满足三个指标
        • 高准确性：多包含真边缘，少包含假边缘；
        • 高精确度：检测到的边缘应该在真正边界上；
        • 单像素宽：选择性很高，只对边缘有唯一响应。
      • 通常用一阶微分的最大值来检测边缘
      • 梯度算子
        • 同"交叉微分算法"
      • 其它方向算子
        • Roberts，Prewitt，Sobel等算子，只包含两个方向的模板，可检测边缘方向少。微分模板方向越多就能检测更多方向的边缘。
        • Kirsch算子
          • 8个方向依次成45°夹角
          • 使用方法：8个模板分别与图像卷积，检测8个方向的灰度变化，变化最大的方向即是边缘的方向。5×5的Kirsch算子的前4个方向模板如下：
        • Canny算子
          • 特点
            • 存在问题: 位置不准；非单像素宽等。
          • 算子检测边缘的步骤
            • 用高斯滤波模板平滑图像；
            • 计算平滑后图像的梯度的幅值和方向；
            • 对梯度幅值应用费极大值抑制；
            • 确保在梯度方向上是最大值。
            • 用双阈值算法检测和链接边缘。
            • 对不确定的部分借助邻域梯度判断。
    • 二阶边缘检测算子
      • 通常用二阶微分的过零点进行边缘预定位。
      • 拉普拉斯算子
        • 特点
          • 它是二阶导数，对噪声非常敏感。
          • 拉普拉斯算子的幅值产生双边缘（最小负值和最大正值）；
          • 不能检测边缘的方向（无方向模板）；
        • 作用
          • 利用它的零交叉性质进行边缘预定位；
          • 确定一个像素在边缘暗的一边还是亮的一边。
        • 模板
      • LOG算子
        • 先平滑图像，然后再用拉氏算子检测边缘，以克服二阶微分算子对噪声敏感的问题。
    • 边缘的接续和闭合
      • 边缘接续的目的
        • 边缘接续的目的是要把间断的边连接起来形成封闭的边界。
      • 局部接续处理的原理
        • 分析边缘检测结果中的每个点(x,y)的特性；在一个小的邻域（3x3 或 5x5）中把所有相似的点连接起来，形成一个具有共同特性区域的边界。
    • Hough变换
      • 问题的提出
      • 原理
        • 利用一个空间和另一个空间的对偶关系，把原空间中的问题转换到它的对偶空间去求解，在对偶空间里问题变得相对简单。
      • 检测直线
        • 步骤
          • 准备阶段
          • 运算阶段
          • 寻峰阶段
        • 存在的问题及改进
          • 问题
            • 当直线接近垂直时，斜率q接近无穷大，搜索范围很宽，运算量大。
          • 改进
            • 图像XY空间变换到极坐标空间。
        • 特点
          • 抗干扰能力强，在参数空间的累加计数是一个积分过程。
          • 鲁棒性好，在真正待求的参数点处有非常明显的尖峰。
          • 自动闭合：由边界曲线的参数可得整个曲线。
          • 因此，利用Hough变换可排除干扰并完成曲线补充和接续。
      • 应用拓展
        • 用于圆的检测
        • 用于椭圆的检测
  • 区域分割
    • 区域生长
      • 问题的引入
        • 有的分割方法没有兼顾到某些条件。
      • 区域生长的基本思想
        • 区域生长是一种自下而上的分割方法。
        • 先确定区域的个数及其特征；再分别为每个区域找一个具有代表性的种子；以种子为聚类中心不断地把图像中与之特性相同的相邻像素合并入该区域中；重复合并过程，直到不能合并为止，最后形成特征不同的各个区域。这种分割方法也称为区域扩张。
      • 算法步骤和流程
        • • 先对要分割的区域找一个种子像素作为生长的起点；
          • 确定一个相似性标准（评判是否符合合并的条件）；
          • 按照相似性标准，将种子像素的邻域中具有与种子相同或相似性质的像素，合并到种子的区域中；
          • 将新像素当作新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包含进来为止，这样就完成了一个区域的生长；
          • 按照此方法，完其它区域的生长，直到将整幅图像完全分割为止。
      • 关键问题
        • 种子点选择
          • 最亮的像素；
          • 直方图极大值；
          • 聚类中心处像素；
        • 相似性准则（生长准则）的确定
          • 区域灰度差；
          • 区域内灰度分布特性；
          • 颜色、纹理、尺寸形状等；
        • 生长停止条件的确定
          • 区域生长准则：任何像素和种子之间的灰度值绝对差小于65。
    • 分裂合并
      • 问题的提出
        • 区域生长受种子、相似性准则等的影响很大。
      • 分裂合并的思想
        • 分裂合并是一种自上而下的分割方法。
        • 从整幅图像开始，不断地逐级分裂，同时也把特性相同且相邻的区域合并，直到不能再分为止，最后得到各个子区域。
      • 分裂-合并的做法
        • 分裂的做法
          • 逐级四等分，直到要分裂的区域被分为单个像素为止。
        • 合并的做法
          • 把特性相同的相邻区域合并为一个区域。
        • 具体操作
          • 进行一次分裂；
          • 考察所有相邻区域是否可以合并，若可以，则将其一一合并；
          • 重复前两步，直到分裂合并都不能再进行为止；
          • 注意：合并时一般先考虑同一个父节点下的4个区域，之后再扩展到其它父节点下同层次的区域。
• 图像描述
  • 图像描述的基本概念
    • 表征图像的主要特征
      • 图像经过分割得到了若干区域和边界，为了让计算机有效地识别目标，必须对目标的主要属性和目标之间及目标与背景之间的相互关系用更加简洁、明确的数值、符号等进行表示
      • 这些从原图像或分割图像中产生的数值、符号等就称为图象特征。图像特征包含了目标的重要信息并反映了目标的主要特性。
        • 内部特征：灰度特征、颜色特征、纹理特征，......
        • 外部特征：面积、周长、圆形度等......
    • 图像描述的定义
      • 用图像特征表示图像，就称为图像描述，即：用数字或者符号表示图像或景物中各个目标的相关特征，甚至目标之间的关系，最终得到的是目标特征以及它们之间关系的抽象表达。
    • 图像描述的目的
      • 获取目标的有用信息,对目标进行描述及精确测量，为目标分析和理解打下基础。
    • 图像描述的基本方法
      • 简单描述法是指基于图像的几何形状特征进行描述的方法，常用方法有周长、面积、位置、方向、矩形度等。
      • 边界描述法：图像经过分割或运用边缘检测算法得到目标区域的边界点集以后，还需要将这些边界点组织起来，形成边界线并加以描述的方法，主要包括链码法、傅里叶描述法等。
      • 区域描述法就是基于图像内部的灰度、颜色、纹理等特征对图像进行描述的方法，如不变矩描述法等。
  • 简单描述法
    • 周长描述
      • 周长定义：区域的边界长度。
      • 周长的作用：一个形状简单的目标可以用相对较短的周长来包围它所占有的面积，所以周长可用来区别具有简单或复杂形状的目标。
      • 常用的描述周长的方法
        • 区域和背景交界线（隙缝）的长度
          • 像素看作单位面积小方块，区域和背景均由小方块组成。周长为区域和背景的隙缝（交界线）的长度
          • 即：周长p=交界线的长度
        • 边界点的个数
          • 用边界像素点数表示，即边界点的个数
          • 即：周长p=边界点的个数
    • 面积描述
      • 面积描述定义：区域内像素点的个数。
      • 面积的作用：是区域的最基本特征，它描述了区域的大小。
      • 设图像f(x,y)的大小为M×N，对二值图像，用1表示目标，0表示背景，求目标面积就是统计f(x,y)=1的像素点数，则面积为:
    • 目标位置描述
      • 由于目标具有一定面积，因此有必要定义目标在图像中的位置，一般定义面积的中心点作为目标位置。
      • 面积中心指图形的质心，如图像质量分布均匀，则质心即形心。
      • 对大小为M×N的二值图像f(x,y)，若1表示目标，0表示背景，则目标的质心坐标为：
    • 目标方向描述
      • 确定了目标在图像中的位置后，还需要确定目标的方向。
      • 目标方向可通过寻找目标上所有点到某条直线的距离的平方和最小的方法确定，该直线即是目标方向。
    • 目标矩形度描述
      • 矩形度反映目标对其外接矩形的充满程度，可用目标的面积与其最小外接矩形的面积之比来描述
        • Ao是该目标的面积，AMER是最小外接矩形的面积。R值在0～1之间。
        • 当目标为矩形时，R取得最大值1；目标为圆形时R取值为；细长、弯曲的目标的R值变小，接近于0。
  • 链码描述法
    • 链码定义
      • 链码是一种对边界编码的表示方法，它用边界的方向作为编码依据。为简单起见，一般描述的是边界点集。
    • 链码方法
      • 有4-链码和8-链码两种编码方法。具体做法：从起点开始，沿边界编码，直至重新回到起点，结束编码。
      • • 给每一个边界线段一个方向编码
        • 选定起点,并从起点开始，沿边界编码，直到重新回到起点，结束编码
        • 起点：红点
        • 方向：顺时针
        • 4-链码：000033333322222211110011
      • 示例2
        • 设起始点s的坐标为(5,5)，逆时针分别用4方向链码和8方向链码表示区域边界
        • 4方向链码：(5,5)111232323000
        • 8方向链码：(5,5)2224556000
    • 存在问题
      • 起点不同，造成编码的不同
      • 旋转造成编码的不同
    • 改进方法
      • 归一化解决起点问题：如果将链码首尾连接起来，可以看出，链码其实是方向编码的循环序列。因此可以选择起始点，使得到的编码序列的整数值最小，实现链码的归一化。
      • 一阶差分解决旋转问题：用链码的一阶差分代替原编码，就具有了旋转不变性。也就是说，同样形状的区域，旋转不同的角度，它们的链码是不一样的，但各链码的一阶差分码相同，这一性质对图像的识别特别有效。
      • 对链码一阶差分并进行归一化，可具有起点、旋转不变性。
  • 傅里叶描述法
    • 基本思想
      • 点集组成的边界被确认后，利用边界可以识别目标的形状。
    • 过程
    • M的选取与描述符的关系
    • 使用价值
      • 较少的傅里叶描述子，就可以获取边界本质的整体轮廓。
      • 这些带有边界信息的描述子，可以用来区分明显不同的边界。
    • 特点
      • 二维问题一维化
      • 经过改进和调整可具有几何变换不变性
        • 由定义可看出：起点的选择、平移、旋转、缩放都会对原边界序列产生影响，从而影响傅里叶变换后的结果。
        • 可对傅里叶描述子进行改进和调整使之具有几何变换不变性，具体做法如下： 1）起点的变化和旋转只影响F(u)的相位，不影响幅值，可忽略； 2）平移会影响F(u)的直流分量，可通过去除直流的方法消除； 3）尺度变化会使F(u)整体放大或缩小，可采用同除以最大系数归一化的方法消除。 经过以上处理后，最终的傅立叶子具有几何变换的不变性。
  • 矩描述法
    • 基本思想
      • 有些情况下，图像中目标区域的灰度分布是已知时,可用矩描述来表征目标。
    • 矩描述特点
      • 不需要知道边界，只需知道分割出来的区域内部像素灰度情况即可。
    • 矩
    • 中心距
    • 不变矩