第十章神经网络

第十章神经网络思维导图，包含神经网络简介、感知器、多层感知器、反向传播算法等内容，需要的可以收藏下。

第十章 神经网络

• 神经网络简介
  • 人工智能的流派
    • 符号主义
      • 定义
        • 又称逻辑主义、心理学派、计算机学派，是指通过分析人类智能的功能，然后用计算机实现这些功能的一类方法
      • 两个基本假设
        • 信息可以用符号来表示
        • 符号可以通过显式的规则来操作
    • 连接主义
      • 定义
        • 又称仿生学派、生理学派，是认知科学领域中的一类信息处理的方法和理论，连接主义认为人类的认知过程是由大量简单神经元构成的神经网络的信息处理过程，而不是符号运算
      • 主要结构
        • 由大量简单的信息处理单元组成的互联网络，具有非线性、分布式、并行化、 局部性计算以及自适应性等特性
  • 神经网络
    • 定义
      • 神经网络是由具有适应性的简单单元组成的广泛并行互联的网络, 它的组织能够模拟生物神经系统对真实世界物体所作出的反应
    • 组成
      • 由大量神经元以及它们之间的有向连接构成
      • 神经元的激活规则
        • 主要是指神经元从输入到输出的映射关系，一般为非线性关系
      • 网络的拓扑结构
        • 不同神经元之间的连接关系
      • 学习算法
        • 通过训练数据来学习神经网络的参数
    • M-P神经元模型
      • 输入
        • 来自其他n个神经元传递过来的输入信号
      • 处理
        • 输入信号通过带权重的连接进行传递，神经元接收到总输入值，将其与神经元的阈值进行比较
      • 输出
        • 通过激活函数的处理以得到输出
    • 激活函数
      • 理想激活函数是阶跃函数, 0表示抑制神经元，而1表示激活神经元
      • 阶跃函数具有不连续、不光滑等不好的性质, 常用的是Sigmoid函数
• 感知器
  • 定义
    • 模拟生物神经元行为的机器，有与生物神经元相对应的部件，由两层神经元组成，输入层接受外界输入信号传递给输出层，输出层是M-P神经元，即阈值逻辑单元
  • 结构
    • 包括权重(突触)、偏置(阈值)及激活函数(细胞体)，输出+1或-1
  • 功能
    • 感知机能够容易地实现逻辑与、或、非运算
  • 感知器模型
    • 基本的机器学习模型求解
    • 学习过程
    • 表达能力
      • 若两类模式线性可分，则感知器的学习过程一定会收敛；否则感知器的学习过程将会发生震荡
      • 单层神经网路不能解决非线性问题
• 多层感知器
  • 基本概念
    • 输出层与输入层之间的一层神经元，被称之为隐层或隐含层；隐含层和输出层神经元都是具有激活函数的功能神经元
    • 全连接神经网络，有n层的神经网络(不包括输入层)或者有n-1个隐层的神经网络
  • 定义
  • 功能
    • 可以用于进行复杂的特征转换，或逼近一个复杂的条件分布
    • 对于具有线性输出层和至少一个使用挤压性质的激活函数的隐含层的前馈神经网络，只要其隐含层神经元的数量足够，它可以以任意的精度来近似任何从一个定义在实数空间的有界闭集函数
  • 激活函数
    • 性质
      • 连续并可导(允许少数点上不可导)的非线性函数
        • 可导的激活函数可以直接利用数值优化的方法来学习网络参数
      • 激活函数及其导函数要尽可能简单
        • 有利于提高网络计算效率
      • 激活函数的导函数的值域要在一个合理的区间内
        • 不能太大也不能太小，否则会影响训练的效率和稳定性
      • 单调递增
    • 作用
      • 在一定程度上缓解梯度消失问题
    • 常见激活函数
      • Relu、Sigmoid、阶跃函数
• 反向传播算法
  • 基本概念
    • 链式法则
  • 基本过程
    • 前向传递+反向传递
  • BP有效性
    • 在后向传递中重复使用前向传递中的计算
    • 在后向传递中重复使用偏导数(但仅当算法在前向传递中重复使用共享计算时)
  • 算法框架
  • 缓解过拟合
    • 早停
      • 若训练误差连续a轮的变化小于b，则停止训练
      • 使用验证集，若训练误差降低、验证误差提高，则停止训练
    • 正则化
      • 在误差目标函数中增加一项描述网络复杂度