导图社区 神经网络与深度学习之循环神经网络
总结了循环神经网络RNN的基本内容,如RNN基本结构原理、RNN计算训练的BPTT算法、长短期记忆模型LSTM和门控循环单元GRU的基本原理等
总结了卷积神经网络的主要内容,如基本概念,卷积运算,基本结构,参数学习方法以及一些卷积神经网络实例结构。
总结了最基本的神经网络结构——多层感知机MLP和前馈网络FNN,在此基础上总结了神经网络的目标函数和优化技术,反向传播算法计算目标函数对网络权系数的梯度问题,以及神经网络优化的辅助技术如初始化、正则化等。
社区模板帮助中心,点此进入>>
互联网9大思维
组织架构-单商户商城webAPP 思维导图。
域控上线
python思维导图
css
CSS
计算机操作系统思维导图
计算机组成原理
IMX6UL(A7)
考试学情分析系统
神经网络与深度学习 循环神经网络
基本RNN
时间序列
按照顺序排列的数据,序列种相邻成员往往具有相关性
卷积神经网络CNN可以处理这种序列数据但不够灵活,带反馈回路的循环神经网络RNN更适合处理这类序列数据
RNN原理示意图
状态方程
状态变量
表示系统的变化和记忆能力
当前状态与上个时刻状态和当前输入有关
状态变量记忆了从起始时刻输入序列的贡献
线性动力系统
非线性动力系统
RNN的计算和训练
单元计算
展开计算图
BPTT算法
深度RNN网络
长期依赖现象
原因
反向误差传播项
序列时刻步数N后
W特征值大于1
梯度爆炸
W特征值小于1
梯度消失
解决方法
梯度截断方法(阈值限制梯度)
门控RNN法
长短期记忆模型LSTM
门控循环单元GRU
LSTM计算展开图
实现方式
思路
将记忆向量分为“长期记忆”和“短期记忆”
长期记忆
记忆细胞向量
控制内循环记忆和遗忘
短期记忆
隐藏向量
经过循环延迟(外循环)输入至门控网络的输入
门控记忆过程
遗忘门
控制记忆程度
记忆
遗忘
部分记忆
输入门
候选记忆细胞
输入对记忆细胞的影响
当前新记忆细胞组成
上一时刻记忆细胞保留成分+当前输入对记忆细胞的影响
输出门
GRU计算展开图
重置门
影响新的记忆生成
更新门
控制对历史和新输入的记忆和忘记
候选隐藏状态 (候选记忆)
控制新的需记忆元素
状态输出
上一时刻隐藏状态保留成分+当前输入的影响
LSTM和GRU比较
GRU可看作LSTM的简化版,性能上与LSTM等价,用更新门代替遗忘门和输入门