吴恩达深度学习

这是一篇关于吴恩达深度学习的思维导图，主要包括神经网络和深度学习、改进深度神经网络、构建机器学习项目等内容。

吴恩达深度学习课程

• 神经网络和深度学习
  • 深度学习概论
    • 什么是神经网络？
      • 是否可以理解为多个或多种函数的组合？
      • 以房价预测为例介绍神经网络：房屋价格的拟合函数
      • X→○→Y，○即一个独立的神经元，X指一个或多个输入，Y指输出 输入层→隐藏层→输出层
      • Relu函数(修正线性单元)，“修正”指的是取不小于0的值
    • 神经网络的应用
      • 应用在广告推荐、计算机视觉、语音识别、机器翻译、无人驾驶等方面
      • (1)房价预测、在线广告等用的是相对标准的神经网络； (2)图像领域通常使用CNN(卷积神经网络); (3)对于序列数据(语音随时间播放，音频被表示为一维时间序列)通常使用RNN(循环神经网络); (4)语言的字母、单词等都是逐个出现，也可以表示为序列数据，需要使用更复杂的RNNs； (5)无人驾驶所需要的输入信息更加复杂，需要混合的神经网络结构。
      • (1)结构化数据：每个特征都有清晰的定义，例如尺寸大小，年龄等；(2)非结构化数据：特征定义不清晰，如音频、图像等。
    • 深度学习兴起的原因
      • 传统模型无法处理海量数据，相对于传统模型，神经网路的性能大幅度提升。
      • 想要达到较高的性能水平：(1)需要训练一个足够大的神经网络，以发挥数据规模量巨大的优点；(2)足够多的数据(带标签)。
      • 驱动深度学习进步的要素：(1)数据；(2)算力(计算速度)；(3)算法。
      • 算法(激活函数)的创新：sigmoid函数→ReLU函数，sigmoid函数某区域的梯度会接近0，使得学习非常缓慢。 在使用梯度下降法时，梯度接近0时，参数会变化的很慢。
        • 为什么使用梯度下降法？为什么梯度接近0，学习会变缓慢？
        • sigmoid和Relu的优缺点以及各自的应用场景是什么？
  • 神经网络的编程基础
    • 二分分类
      • 以识别图片是否为“猫”为例，是则输出1，不是则输出0，这就是一个二分分类问题。
      • 计算机保存一张图片，需要保存三个独立矩阵，如果图片是64X64像素的，就有三个64X64矩阵，对应红、绿、蓝三个颜色的亮度。
        • 为什么是三个独立矩阵？因为对应三基色RGB，即红、绿、蓝三个颜色通道。
      • 二分分类问题，目标是训练出一个分类器，以图片的特征向量x作为输入，预测输出的结果标签是1还是0。
      • X.shape是一条Python命令，用来输出训练样本“输入矩阵”的维度；Y.shape用来输出训练样本“标签矩阵”的维度。
    • logistic回归模型
      • 用于二分分类问题
      • 已知输入x和参数w、b的情况下，如何计算输出预测y？
        • 机器学习，学的就是参数w和b！
      • 使用sigmoid作为激活函数，当sigmoid函数输入值非常小时，输出接近0，当sigmoid函数输入值非常大时，输出接近1。
        • 为什么使用sigmoid作为激活函数？
    • logistic回归损失函数
    • 梯度下降法
    • 导数
    • 计算图及其导数计算
    • logistic回归中的梯度下降法
  • 浅层神经网络(单隐层神经网络)
  • 深层神经网络
• 改进深度神经网络：超参数调谐、正则化和优化
• 构建机器学习项目
• 卷积神经网络
• 自然语言处理：建立序列模型