前馈网络

这是一篇关于前馈网络的思维导图，包含网络优化、人工神经网络。神经网络结构、解决异或问题的简单网络等。

神经网络

• 人工神经网络
  • 将人工神经元按照一定的层次连接起来，形成人工神经网络
  • 人工神经网络三大要素
    • 节点
      • 采用什么激活函数
    • 连边
    • 连接方式
      • 如何设计层次结构
  • M-P神经元模型
• 解决异或问题的简单网络
  • 感知器
    • 无法解决异或问题 他是线性的
  • 多层感知机
    • 输入层不计入层数 输入层： 隐藏层：***采用线性整流函数 激活函数 输出层：
    • 解决非线性问题
• 神经网络结构
  • 万能近似定理
    • 任一函数可以由一个非线性函数激活的线性函数的线性模型逼近： 线性函数 ---非线性激活（够多）--线性组合 == 任一一个函数
  • 为什么要深度
    • 单隐层网络可以近似任何函数，但是规模可能巨大
    • 随着深度增加，网络的表示能力指数增加
    • 更深层的网络具有更好的泛化能力
    • 参数数量的增加未必带来模型效果的提升
    • 想要学到的函数应该由许多简单的函数复合而成
• 图网络
  • 定义在图结构上的神经网络 自由连接
  • 图卷积
  • 图注意力
  • 消息传递网络
• 记忆网络
  • 反馈网络： 1.不但可以接受其他神经元信息，还可以接受自己的历史信息 2.具有记忆功能，不同时刻具有不同的状态 3.信息传播可以是单向或者双向传递
  • 循环神经网络
  • 玻尔兹曼机
  • 受限玻尔兹曼机
• 前馈网络
  • 1.各个神经元按照接受信息的先后不同分成不同的组， 每个组即使一个神经层 2.每一层的神经元接受前一层的输入 并输出给下一层 3.整个网络的信息朝一个方向传播，没有反向的信息传播，可以用一个有向无环图表示 4.前馈网络 包括全连接前馈神经网络和卷积神经网络
  • 全连接前馈神经网络
  • 卷积神经网络
  • 前馈神经网络（MLP）
    • 信息传递
    • 隐藏单元--激活函数
      • 连续并可导的非线性函数 尽可能简单 导函数的值域要在一个合适的区间
      • Sigmoid型函数
        • 两端饱和函数 一类S型曲线函数
      • Logistics函数
        • 具有挤压功能 输出可看成概率分布
      • Tanh函数
        • 零中心化，加快收敛速度
      • ReLU
        • max(0,x) 单侧抑制，宽兴奋边界 缓解梯度消失 稀疏性激活 缺点：导致神经元死亡
    • 输出单元
      • 线性输出单元：回归问题
        • 损失函数：均方误差
      • Sigmoid单元：适合二分类问题
        • 损失函数：交叉熵函数
      • Softmax单元：多分类问题
        • 损失函数：交叉熵
    • 学习准则
      • 梯度下降
• 参数优化问题
  • 非凸优化
  • 梯度消失
    • 误差在反向传播过程中不断衰减甚至消失
• 结构设计
• 自动梯度计算
  • 数值微分
  • 符号微分
  • 自动微分
  • 计算图
• 反向传播算法
  • 以MLP为例
  • 矩阵微分
  • 链式法则
  • BP_1
    • 1
  • BP_2
    • 2
  • BP_3
    • 3
  • BP_4
    • 4
  • BP_5
    • 5
• 网络优化
  • 优化问题： 1.网络是非凸函数，还有梯度消失问题 2.模型参数多 3.训练数据大
  • 网络优化目标
    • 最小化服从真实数据分布 的损失函数的期望 通常只有训练样本数据 经验风险最小化：用训练集的经验代替真实分布
  • 网络优化难点
    • 1、网络结构多样性 2.非凸优化--逃离局部最优--逃离鞍点（最大问题）
    • 非凸优化问题
    • 网络结构多样性
      • 小批量梯度下降
        • 关键因素： 1.小批量样本数量 2.学习率 3，梯度
        • 批量大小
          • 批量大小不影响随机梯度的期望，影响方差 1.批量越大，随机梯度的方差越小，训练越稳定，可以设置较大的学习率、 2.批量较小时，需要设置较小的学习率，否则模型可能不收敛
        • 学习率
        • 子主题
      • 自适应学习率、梯度优化
      • 参数初始化、数据预处理
      • 逐层归一化
      • 超参数优化
• 正则化
  • 泛化问题： 神经网络拟合能力过强，训练集容易过拟合