卷积神经网络

学习笔记，从全连接网络存在的问题、组成、结构特性、其他卷积方式等方面进行了分析和概述，需要的朋友可以收藏。

卷积神经网络

• 全连接网络存在的问题
  • 参数太多
  • 局部不变形特征难以提取
• 组成
  • 卷积层
  • 池化层
  • 全连接层
  • 前馈神经网络
• 结构特性
  • 局部连接
  • 权重共享
  • 池化
  • 平移、缩放、旋转不变性
• 卷积运算
  • 一维卷积
    • 点积运算
      • 循环信号、文本、时间序列、音乐
  • 二维卷积
    • 哈达玛积+求和
      • 图像、时频、目标检测、定位
  • 三维卷积
    • 互相关运算
      • 视频识别、生物医学图像分析、高光谱图像分析
  • 卷积核
    • 滤波器：代表图像的某种特征
    • 卷积核深度要与输入一致
    • 通道数目：卷积核数目
  • 滑动步长
    • 卷积核滑动的时间间隔
  • 零填充
  • 计算公式：
  • 互相关运算
    • 利用滑动窗口的点积运算
    • 与卷积相比，仅仅省略了卷积核的翻转
  • 目的：特征抽取
  • 卷积的动机
    • 稀疏交互，局部感受
    • 权值共享
      • 参数减少
      • 多个 不同卷积核
      • 概要
    • 平移不变性
      • 卷积
      • 池化
  • 池化
    • 下采样：特征选择，减少特征数量，从而减少参数数量
    • 降低特征维度，避免过拟合
    • 最大池化：纹理提取
    • 平均池化：背景保留
  • 一般框架结构
    • 卷积层：
    • 池化层：
    • 全连接层：
    • 概要
  • 总结
  • 问题：
• 参数学习
  • 如何训练
    • 前向传播
    • 损失函数
    • 反向传播
      • 参数为卷积核中的权重和偏置
    • 更新权重
  • 训练什么
    • 网络的深度
    • 卷积核的数量
    • 卷积核的大小
    • 超参数
      • 欠拟合 过拟合
  • 池化层
• 其他卷积方式
  • 转置卷积
    • 反卷积
    • 转置：低维到高维的映射
    • 一般：高维到低维的映射
    • 仿射变换
  • 空洞卷积
    • 如何增加输出单元的感受野
      • 增加卷积核大小
      • 增加层数
      • 增加参数数量
      • 在卷积之前进行池化
        • 会丢失信息
    • 插入空洞
• 典型网络
  • 历史演化
  • LeNet
    • 手写数字识别
    • 网络特点
    • 网络简介
  • AlexNet
    • 网络简介
    • 网络结构
    • 网络特点
  • 残差网络
    • 解决的问题
    • 网络简介
    • 优点