导图社区 神经网络与深度学习之卷积神经网络
总结了卷积神经网络的主要内容,如基本概念,卷积运算,基本结构,参数学习方法以及一些卷积神经网络实例结构。
社区模板帮助中心,点此进入>>
《影响力》思维导图
论语孔子简单思维导图
《傅雷家书》思维导图
《童年》读书笔记
《茶馆》思维导图
《朝花夕拾》篇目思维导图
《昆虫记》思维导图
《安徒生童话》思维导图
《鲁滨逊漂流记》读书笔记
《这样读书就够了》读书笔记
神经网络与深度学习 卷积神经网络
CNN简介
典型CNN结构预览
基本性质
稀疏连接
相对于全连接网络FC,CNN是局部连接,即前一层神经元的输出只连接到下一层相邻若干神经元的输入,下一层的一个神经元的输入也只接收前一层相邻的若干神经元的输出
参数共享
感受野(视野)
当前层的一个神经元的输入是前一层附近若干神经元的输出,感受到的是前层近邻神经元的输出,该输入区域称为当前神经元的感受野
卷积核
感受野内的信号加权形成当前神经元的激活,相邻神经元有不同但区域相等(不考虑边界)的感受野
各神经元的激活是各自感野的信号用相同的一组权系数加权求和产生的,即各神经元使用了相同的权系数向量,这组共享的权系数称为卷积核
近似平移不变性
输入信号的平移对输出信号相同的平移
卷积运算自身的性质,线性时不变系统的基本性质
合理设计池化单元和选择激活函数,CNN可近似保持平移不变性
举例
识别图像中的一只狗,做了平移后仍然是一只狗
卷积运算及其物理意义
卷积运算
输入信号x(t)
系统单位冲激响应h(t)(CNN卷积核)
输出信号y(t)
卷积性质
可交换性
平移不变性
完全卷积长度
N+K-1
有效卷积长度
N-K+1
物理意义
滤波器
低通滤波器
抽取信号的缓变的低频成分
h1[n]={1/2,1/2}
高通滤波器
抽取信号快速变化的高频成分
h2[n]={1/2,-1/2}
带通滤波器
抽取变化适中的成分
卷积滤波功能
对于一个复杂信号,其中包含各种频率成分,不同卷积核实现的不同滤波器可获取信号中的不同变化尺度的成分
自适应滤波
网络输出层的输出与期望响应的误差用于训练输出层网络
BP算法将输出层误差反向传播到前级的各层,由反向传播误差依次训练各层的卷积核
基本CNN的结构
一维卷积
神经元激活值
神经元输出
整流线性激活函数ReLU
z=max{0,a}
卷积通道
输入与卷积核的卷积运算+激活函数运算
与全连接网络比较
共享参数数目少
对输入的不同性质特征分而治之
二维卷积
公式
形象理解
二维卷积运算相当于hij再Xij数据阵列中滑动,当需要计算amn时,h00滑动到对齐Xmn,然后计算乘积项Xm+in+j hij并相加
有效卷积输出大小为(D1-K1+1)×(D2-K2+1)
探测级
计算激活函数,神经元输出
多通道卷积
卷积通道/卷积平面
每个卷积核h通过卷积运算产生的矩阵
输入
32×32的图像,3个通道表示RGB三原色
6个5×5卷积核,每两个用于一个输入通道
输出
产生6个28×28的卷积通道
池化
最大化池化
取窗口最大值的池化,即在一个小窗口内选取最大值作为池化结果
平均值池化
窗口内平均值作为池化结果
抽取池化
窗口内固定点值作为池化结果
窗口属性
大小
M1×M2
池化步幅
S
等长零填充卷积
K为奇数
输入两端各添加(K-1)/2个0
K为偶数
一侧添加K/2个0,另一侧添加(K/2)-1个0
构成CNN
卷积层组成
卷积运算级
探测级(ReLU函数)
池化(可选)
典型CNN网络结构
卷积的一些扩展结构
张量卷积
三维数据体
张量卷积核
卷积平面
通道维卷积
抽取通道维的不同特征
1×1卷积核
S步幅卷积
CNN的参数学习
CNN的BP算法思路
前向传播
卷积层卷积计算
FC层全连接计算激活输出
池化层进行池化
反向传播
FC层按照标准BP反向传播算法计算
卷积层和池化层反向传播算法
卷积层的反向传播公式
池化层的反向传播公式
二维扩充
CNN示例介绍
LeNet-5网络
AlexNet网络和VGGNet网络
激活函数
ReLU激活函数比tanh激活函数训练速度快了6倍
AlexNet结构
VGGNet结构
用更深的层、更小的卷积核、多个卷积层对应一个池化层
训练效果提升思路
通过增大CNN的深度获得更好的训练效果
层数的直接增加会带来负作用
易过拟合
梯度消失
梯度爆炸
GoogLeNet网络
宏构造模块Inception
4个并行分支
通过分支合并模块产生输出
每个分支均包含了1×1卷积
目的是分而治之减少参数和运算量
结构
残差网络和密集网络
残差网络
网络退化问题
训练集上的准确率饱和甚至下降
残差网络特点
容易优化,并可通过增加相当的深度提高准确率
残差网络内部的残差块使用了跳跃连接,缓解了在深度神经网络中增加深度带来的梯度消失问题
残差构造块
残差网格结构
密集网络
密集网络特点
保持前馈网络的结构,从输入层或从当前层输出连接到后续每层的输入
对于L层网络,可有L(L-1)/2种连接
密集网络结构