神经网络与深度学习之卷积神经网络

总结了卷积神经网络的主要内容，如基本概念，卷积运算，基本结构，参数学习方法以及一些卷积神经网络实例结构。

神经网络与深度学习 卷积神经网络

• CNN简介
  • 典型CNN结构预览
  • 基本性质
    • 稀疏连接
      • 相对于全连接网络FC，CNN是局部连接，即前一层神经元的输出只连接到下一层相邻若干神经元的输入，下一层的一个神经元的输入也只接收前一层相邻的若干神经元的输出
    • 参数共享
      • 感受野(视野)
        • 当前层的一个神经元的输入是前一层附近若干神经元的输出，感受到的是前层近邻神经元的输出，该输入区域称为当前神经元的感受野
      • 卷积核
        • 感受野内的信号加权形成当前神经元的激活，相邻神经元有不同但区域相等（不考虑边界）的感受野
        • 各神经元的激活是各自感野的信号用相同的一组权系数加权求和产生的，即各神经元使用了相同的权系数向量，这组共享的权系数称为卷积核
    • 近似平移不变性
      • 输入信号的平移对输出信号相同的平移
      • 卷积运算自身的性质，线性时不变系统的基本性质
      • 合理设计池化单元和选择激活函数，CNN可近似保持平移不变性
      • 举例
        • 识别图像中的一只狗，做了平移后仍然是一只狗
• 卷积运算及其物理意义
  • 卷积运算
    • 输入信号x(t)
    • 系统单位冲激响应h(t)(CNN卷积核)
    • 输出信号y(t)
  • 卷积性质
    • 可交换性
    • 平移不变性
    • 完全卷积长度
      • N+K-1
    • 有效卷积长度
      • N-K+1
  • 物理意义
    • 滤波器
      • 低通滤波器
        • 抽取信号的缓变的低频成分
        • h1[n]={1/2,1/2}
      • 高通滤波器
        • 抽取信号快速变化的高频成分
        • h2[n]={1/2,-1/2}
      • 带通滤波器
        • 抽取变化适中的成分
    • 卷积滤波功能
      • 对于一个复杂信号，其中包含各种频率成分，不同卷积核实现的不同滤波器可获取信号中的不同变化尺度的成分
    • 自适应滤波
      • 网络输出层的输出与期望响应的误差用于训练输出层网络
      • BP算法将输出层误差反向传播到前级的各层，由反向传播误差依次训练各层的卷积核
• 基本CNN的结构
  • 一维卷积
    • 神经元激活值
    • 神经元输出
    • 整流线性激活函数ReLU
      • z=max{0,a}
    • 卷积通道
      • 输入与卷积核的卷积运算+激活函数运算
    • 与全连接网络比较
      • 共享参数数目少
      • 对输入的不同性质特征分而治之
  • 二维卷积
    • 公式
    • 形象理解
      • 二维卷积运算相当于hij再Xij数据阵列中滑动，当需要计算amn时，h00滑动到对齐Xmn，然后计算乘积项Xm+in+j hij并相加
      • 有效卷积输出大小为(D1-K1+1)×(D2-K2+1)
  • 探测级
    • 计算激活函数，神经元输出
  • 多通道卷积
    • 卷积通道/卷积平面
      • 每个卷积核h通过卷积运算产生的矩阵
    • 举例
      • 输入
        • 32×32的图像，3个通道表示RGB三原色
      • 卷积核
        • 6个5×5卷积核，每两个用于一个输入通道
      • 输出
        • 产生6个28×28的卷积通道
  • 池化
    • 最大化池化
      • 取窗口最大值的池化，即在一个小窗口内选取最大值作为池化结果
    • 平均值池化
      • 窗口内平均值作为池化结果
    • 抽取池化
      • 窗口内固定点值作为池化结果
    • 窗口属性
      • 大小
        • M1×M2
      • 池化步幅
        • S
  • 等长零填充卷积
    • K为奇数
      • 输入两端各添加(K-1)/2个0
    • K为偶数
      • 一侧添加K/2个0，另一侧添加(K/2)-1个0
  • 构成CNN
    • 卷积层组成
      • 卷积运算级
      • 探测级（ReLU函数）
      • 池化（可选）
    • 典型CNN网络结构
  • 卷积的一些扩展结构
    • 张量卷积
      • 三维数据体
      • 张量卷积核
      • 卷积平面
    • 通道维卷积
      • 抽取通道维的不同特征
      • 1×1卷积核
    • S步幅卷积
• CNN的参数学习
  • CNN的BP算法思路
    • 前向传播
      • 卷积层卷积计算
      • FC层全连接计算激活输出
      • 池化层进行池化
    • 反向传播
      • FC层按照标准BP反向传播算法计算
      • 卷积层和池化层反向传播算法
  • 卷积层的反向传播公式
  • 池化层的反向传播公式
  • 二维扩充
• CNN示例介绍
  • LeNet-5网络
  • AlexNet网络和VGGNet网络
    • 激活函数
      • ReLU激活函数比tanh激活函数训练速度快了6倍
    • AlexNet结构
    • VGGNet结构
      • 用更深的层、更小的卷积核、多个卷积层对应一个池化层
    • 训练效果提升思路
      • 通过增大CNN的深度获得更好的训练效果
      • 层数的直接增加会带来负作用
        • 易过拟合
        • 梯度消失
        • 梯度爆炸
  • GoogLeNet网络
    • 宏构造模块Inception
      • 4个并行分支
      • 通过分支合并模块产生输出
      • 每个分支均包含了1×1卷积
      • 目的是分而治之减少参数和运算量
    • 结构
  • 残差网络和密集网络
    • 残差网络
      • 网络退化问题
        • 训练集上的准确率饱和甚至下降
      • 残差网络特点
        • 容易优化，并可通过增加相当的深度提高准确率
        • 残差网络内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题
      • 残差构造块
      • 残差网格结构
    • 密集网络
      • 密集网络特点
        • 保持前馈网络的结构，从输入层或从当前层输出连接到后续每层的输入
        • 对于L层网络，可有L(L-1)/2种连接
      • 密集网络结构