神经网络与深度学习之循环神经网络

总结了循环神经网络RNN的基本内容，如RNN基本结构原理、RNN计算训练的BPTT算法、长短期记忆模型LSTM和门控循环单元GRU的基本原理等

神经网络与深度学习 循环神经网络

• 基本RNN
  • 时间序列
    • 按照顺序排列的数据，序列种相邻成员往往具有相关性
    • 卷积神经网络CNN可以处理这种序列数据但不够灵活，带反馈回路的循环神经网络RNN更适合处理这类序列数据
  • RNN原理示意图
  • 状态方程
    • 状态变量
      • 表示系统的变化和记忆能力
      • 当前状态与上个时刻状态和当前输入有关
      • 状态变量记忆了从起始时刻输入序列的贡献
    • 线性动力系统
    • 非线性动力系统
• RNN的计算和训练
  • 单元计算
  • 展开计算图
  • BPTT算法
  • 深度RNN网络
  • 长期依赖现象
    • 原因
      • 反向误差传播项
      • 序列时刻步数N后
      • W特征值大于1
        • 梯度爆炸
      • W特征值小于1
        • 梯度消失
    • 解决方法
      • 梯度截断方法（阈值限制梯度）
      • 门控RNN法
        • 长短期记忆模型LSTM
        • 门控循环单元GRU
• 长短期记忆模型LSTM
  • LSTM计算展开图
  • 实现方式
    • 思路
      • 将记忆向量分为“长期记忆”和“短期记忆”
      • 长期记忆
        • 记忆细胞向量
        • 控制内循环记忆和遗忘
      • 短期记忆
        • 隐藏向量
        • 经过循环延迟（外循环）输入至门控网络的输入
    • 门控记忆过程
      • 遗忘门
        • 控制记忆程度
          • 记忆
          • 遗忘
          • 部分记忆
      • 输入门
      • 候选记忆细胞
        • 输入对记忆细胞的影响
        • 当前新记忆细胞组成
          • 上一时刻记忆细胞保留成分+当前输入对记忆细胞的影响
      • 输出门
• 门控循环单元GRU
  • GRU计算展开图
  • 门控记忆过程
    • 重置门
      • 影响新的记忆生成
    • 更新门
      • 控制对历史和新输入的记忆和忘记
    • 候选隐藏状态 （候选记忆）
      • 控制新的需记忆元素
    • 状态输出
      • 上一时刻隐藏状态保留成分+当前输入的影响
  • LSTM和GRU比较
    • GRU可看作LSTM的简化版，性能上与LSTM等价，用更新门代替遗忘门和输入门