深度学习的数学

这是一篇关于深度学习的数学的思维导图，主要内容有神经元、激活函数、神经网络。希望能对你有所帮助！

深度学习的数学 (作者:涌井良幸)

• 神经网络的思想
  • 神经元
    • 神经元主要由细胞体、轴突、树突等构成
      • 树突:从其他神经元接收信号的突起
      • 轴突:向其他神经元发送信号的突起
      • 细胞体:处理接收到的电信号
    • 神经元的输入信号应该是考虑了权重的信号之和
    • 阈值:如果一个神经元从其他多个神经元接收的信号之和小于该神经元固有的边界值(阈值)，则神经元不做任何反应，忽略小信号
    • 点火:如果输入信号之和大于神经元的边界值，细胞体就会做出反应，向与其连接的其他神经元传递信号
      • 点火的输出信号是由0或1表示的数字信息
  • 激活函数
    • 加权输入
      • z=w1x1+w2x2+w3x3+b
      • 可看作两个向量的内积 z=(w1,w2,w3,b)•(x1,x2,x3,1)
    • 神经元对加权输入的处理过程
      • y=a(w1x1+w2x2+w3x3+b)
    • 神经元简化图，阈值→偏置(bias)
    • 常用的激活函数
      • 单位阶跃函数
      • Sigmoid函数
  • 神经网络
    • 由多个神经元连接构成的网络称之为神经网络
    • 深度学习:叠加了很多层的神经网络
    • 全连接层(fully connected):前一层的神经单元与下一层的所有神经单元都有连接
    • 模式识别的难点在于答案不标准
      • 解决思路是设计神经网络，由网络进行判断
        • 权重与偏置协力合作
        • 利用网络自学习算法来确定权重大小
    • 根据网络参数确定方法的不同划分
      • 有监督学习
        • 事先给予数据，根据给定的学习数据来确定神经网络的权重和偏置
        • 学习思路在数学上称为模型的最优化:计算神经网络得出的预测值与正解(GroudTruth)的误差，确定使得误差总和达到最小的权重
        • 误差总和定义有多种
          • 平方误差
            • 针对全部学习数据，计算预测值与正解的误差的平方，然后再相加
            • 利用平方误差确定参数的方法在数学上称为最小二乘法
      • 无监督学习
    • 根据网络连接方法的不同，神经网络包括如下类型
      • 阶层型神经网络
        • 按照层(layer)划分神经单元，通过这些神经单元处理信号，并从输出层得到结果
        • 输入层:负责读取输入信息，不做处理
          • 神经元激活函数为恒等函数a⒵=z
        • 隐藏层:处理加权输入的信息
          • 负责特征提取
        • 输出层:执行信息处理的同时输出神经网络计算出的结果
        • 结构图
      • 卷积神经网络CNN
      • 图神经网络GNN
      • 递归神经网络RNN
      • …