深度学习中的数学基础

本框架图是本人查阅资料后，总结的关于机器学习和深度学习中的常用的数学基础知识，对于入门机器学习和深度学习的伙伴有所帮助。

深度学习数学基础

• 高等数学
  • 导数定义
    • 导数：
    • 可导性、连续性及其关系：
  • 导数物理意义
    • 左导数和右导数：
    • 切线与法线：
  • 导数四则运算：
  • 常用导数与微分
    • 常函数：
    • 幂函数：
    • 指数函数：
    • 对数函数：
    • 三角函数：
    • 反三角函数：
  • 复合函数、隐函数、反函数、参数函数的微分法：
  • 高阶导数：
  • 微分中值定理
    • 费马引理：
    • 罗尔定理：
    • 拉格朗日定理：
    • 柯西定理：
  • 洛必达法则：
  • 泰勒公式
    • 定义：
    • 常见麦克劳林展开（泰勒在x=0）：
  • 单调性判定
  • 渐近线：
  • 凹凸性：
  • 弧积分：
  • 曲率：
  • 曲率半径：
• 线性代数
  • 行列式计算
    • 按行（列）展开：
    • 运算律：
    • 范德蒙行列式：
  • 矩阵
    • 定义：
    • 运算
      • 加法：
      • 数乘：
      • 乘法：
    • 特殊矩阵
      • 转置矩阵、伴随矩阵、逆矩阵之间关系：
      • 伴随矩阵相关结论：
      • 逆矩阵相关结论：
    • 矩阵的秩相关结论：
    • 分块矩阵求逆：
  • 向量
    • 线性相关、线性无关：
    • 相关性：
    • 向量秩与矩阵秩的关系：
    • n维向量空间的基变换公式及过渡矩阵：
    • 过度矩阵和坐标变换：
    • 向量内积：
    • schmidt正交化：
    • 正交基及规范正交基：
  • 线性方程组
    • 克雷默法则：
    • 解的判定：
    • 非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构：
    • 奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解：
  • 特征值、特征向量
    • 概念及性质：
    • 相似变换、相似矩阵的概念及性质：
    • 矩阵可相似对角化的充分必要条件：
    • 实对称矩阵的特征值、特征向量及相似对角阵：
  • 二次型
    • n个变量的二次齐次方程：
    • 惯性定理，二次型的标准形和规范形
      • 惯性定理：
      • 标准型：
      • 规范型：
    • 用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性：
• 概率论与数理统计
  • 随机事件和概率
    • 事件的关系：
    • 事件的运算
      • 运算律
        • 交换律：
        • 结合律：
        • 分配律：
        • 德摩根律：
      • 完全事件组：
      • 常见概率公式
        • 条件概率：
        • 全概率：
        • 贝叶斯（Bayes）：
        • 乘法公式：
    • 独立性事件
      • A与B相互独立：
      • A与B与C两两独立：
      • A与B与C相互独立：
    • 独立重复试验：
    • 重要公式和结论
      • 条件概率满足概率的所有性质
      • 互斥、互逆与独立性之间的关系：A与B互逆→A与B互斥，但反之不成立，A与B互斥（或互逆）且均非零概率事件→A与B不独立.
  • 随机变量及其概率分布
    • 随机变量及概率分布：取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机变量，概率分布通常指分布函数或分布律
    • 分布函数的概念与性质：
    • 离散型随机变量的概率分布：
    • 连续型随机变量的概率密度：
    • 常见分布：
    • 随机变量函数的概率分布：
    • 重要公式与结论：
  • 多维随机变量及其分布
    • 二维随机变量及其联合分布：
    • 二维离散型随机变量的分布：
    • 二维连续性随机变量的密度：
    • 常见二维随机变量的联合分布：
    • 随机变量的独立性和相关性：
    • 两个随机变量简单函数的概率分布：
    • 重要公式与结论：
  • 随机变量的数字特征
    • 数学期望
      • 类型：
      • 性质：
    • 方差：
    • 标准差：
      • 离散型：
      • 连续型：
      • 性质：
    • 随机变量函数的数学期望
      • 显函数情况：
      • 隐函数情况：
      • 协方差：
    • 相关系数
      • 公式：
      • 相关性质：
    • 相关重要公式与性质：
  • 数理统计的基本概念
    • 基本概念
      • 总体：研究对象的全体，它是一个随机变量，用X表示
      • 个体：组成总体的每个基本元素
      • 简单随机样本：
      • 统计量：
      • 均值与方差：
      • 样本k阶原点/中心距：
    • 常见分布：
    • 正态总体的常用样本分布：
    • 重要公式与结论：