神经网络

这是一篇关于神经网络的思维导图。包含常见卷积核、正则化、优化、多个神经元连接在一起、激活函数等内容，需要可收藏。

神经网络

• 多个神经元连接在一起
  • 输入层
  • 隐藏层
  • 输出层
• S=XW+B
  • W为权重
  • B为偏置
  • X为输入向量
• 激活函数
  • sigmoid
    • σ(x)=1/(1+e^(-x) )
    • 饱和特性使梯度消失
  • tanh
    • tanh(x)=2σ(x)-1
    • 实数值压缩到（-1，1）开区间
  • ReLU（修正线性单元）
    • f(x)=max(0,x)
    • 输入在小于0的区域时，函数值永远为0，梯度为0
  • ELU(线性单元)
    • 右侧线性部分使得elu能够缓解梯度消失，而左侧软饱部分能够让ELU对输入变化或噪声更鲁棒。
    • elu的输出均值接近于零
• 损失函数 loss function
  • 分值向量与真实标签之间的差异越大，损失函数值越大，反之越小。
• 优化
  • 梯度下降法
  • 牛顿法
    • 优点：不存在学习率
    • 缺点：计算二阶导数
    • 改进算法：LBFGS
• 正则化
  • 范数正则化
    • 常用的是L2正则化
  • 提前终止训练
  • 正则化控制过拟合，是减弱网络过拟合的好方法
• 高度和宽度决定神经元的空间尺寸，深度决定了对输入区域提取特征的维度（每个神经元提取一个特征）
• 常见卷积核
  • 图像模糊的卷积核：[1 1 1; 1 1 1; 1 1 1]/9
  • 图像锐化的卷积核：[-1 -1 -1; -1 9 -1; -1 -1 -1]
  • 边缘检测的卷积核
    • Sobel:[-1 -2 -1; 0 0 0; 1 2 1]及其转置
    • Prewitt:[-1 -1 -1; 0 0 0; 1 1 1]及其转置
    • Laplace:[1 1 1; 1 -8 1; 1 1 1]