机器学习知识框架

机器学习知识框架的思维导图，机器学习是从数据中学习和提取有用的信息，不断提升机器的性能。

机器学习知识框架

• 无监督学习
  • 聚类算法
    • K-means
    • Mean Shift
    • DBSCAN
    • Lable Propagation
• 推荐算法
  • 协调过滤算法
  • 基于矩阵分解的推荐算法
  • 基于图的推荐算法
• 深度学习
  • AutoEncoder
  • 卷积神经网络
• 项目实践
• <b>阈值函数</b>
  • Sigmoid函数
  • 子主题
• <b>损失函数</b>
  • 负的Log似然函数（NLL）
  • 子主题
• <b>数理统计</b>
  • 似然估计
    • 极大似然估计
      • ？？？
• <b>优化算法</b>
  • 梯度下降法（GD）
    • 初始点
    • 下降方向
    • 步长
  • 凸优化问题
• 概览
  • 概念
    • 机器学习是从数据中学习和提取有用的信息，不断提升机器的性能
  • 算法
    • 监督学习(Supervised Learning)
      • 监督学习，其训练样本中同时包含【特征】和【标签】信息 ①获取带有属性值的样本 ②对样本进行预处理（特征提取） ③通过监督学习算法习得样本特征到样本标签之间的假设函数。监督学习通过从样本数据中习得假设函数，并用其对新的数据进行预测
      • 分类（Classification）
        • 分类问题是指通过训练数据学习一个从观测样本到离散的标签的映射 典型①垃圾邮件分类②点击率预测③手写识别
      • 回归（Regression）
        • 回归问题是指通过训练数据学习一个从观测样本到连续的标签的映射 典型①股票价格预测②房屋价格预测
    • 无监督学习(Unsupervised Learning)
      • 样本中只含有特征，不包含标签信息
      • 聚类（Clustering）
        • 将具有相似特征的样本划分到同一个类别中
    • 半监督学习(Semi-Supervised Learning)
    • 增强学习(Reinforcement Learning)
• 监督学习
  • 分类算法<br>
    • Logistic Regression
      • 分类算法通过对训练样本的学习，得到从样本特征到样本的标签之间的映射关系，也被称为假设函数，之后可以利用该假设函数对新数据进行分类 Logistic Regression是典型的线性分类器 特点：复杂度低,容易实现 Logistic Regression模型：广义线性模型的一种
      • Logistic Regression模型
        • 分类问题可以分为线性可分和线性不可分 线性可分的问题，需要找到一条直线，能够将两个不同的类区分开，这条直线称为超平面， 用线性函数表示为： Wx + b = 0 (W为权重 b为偏置 W,b均为向量) 在LR算法中，通过对样本的学习，最终得到该超平面，将数据分成正负两个类别。此时，可以使用阈值函数，将样本映射到不同的类别中
    • Softmax Regression
      • LR:处理二分类;SR:可处理多分类
    • Factorization Machine
    • 支持向量机
      • 优秀的分类模型
    • 随机森林（Random Forest）
    • BP神经网络
    • KNN算法
  • 回归算法
    • 线性回归算法
      • 线性回归 Liner Regression 目标函数：线性回归方程
      • 目标函数（模型）
        • 一条线
        • 线性回归函数
      • 损失函数
        • 评价指标 评估函数的好坏 辅助找到最好的目标线性方程 关于参数θ的函数 找最优的线-》变成求损失函数的最小值 (找到θ参数最优解)
        • 求误差平方和最小
          • 连续可导
      • 优化算法
        • 随机梯度下降
        • 最小二乘法
          • 逆太难求
    • 逻辑回归算法
      • 二分类 拓展可解决多分类
      • 目标函数（模型）
      • 损失函数
        • 极大似然估计
          • 对数似然
            • 交叉熵的形式
      • 优化算法
        • 随机梯度下降
        • 牛顿法
        • L-BFGS
    • Softmax Regression算法
      • 处理多分类
      • 目标函数
      • 损失函数
      • 优化算法
    • 岭回归和Lasso回归
    • CART树回归
• 酉函数
• 梯度
• <b>微积分</b>
  • 求偏导
  • 泰勒级数
• 模型训练思考方式
  • 交叉熵的形式（真实值乘以log的预测值 用来度量真实值和预测值之间的距离）
  • 确定问题
    • 分类、回归、聚类？ 这决定选什么算法、目标函数、损失函数
  • 特征工程
    • 构建多少个x(多少个特征）
  • 设计<u>目标函数</u>（<u>模型</u>）
  • 设计损失函数
    • 评价指标 评估函数的好坏 辅助找到最好的目标线性方程 关于参数θ的函数 找最优的线-》变成求损失函数的最小值 (找到θ参数最优解) 评价后将问题转成求最优解的问题（优化方法） 最笨的优化算法是遍历所有可能参数找到损失函数最小值 求损失函数最小/大 变相转为求导数为0 深度学习里面做分类的损失函数一般用交叉熵来做
    • 均方误差（MSE）
    • 子主题
    • 子主题
  • 设计优化方法
    • 梯度下降算法
      • 初始点 方向 步长 对损失函数求导就是求梯度 沿着梯度反方向移动（找方向）？？ 一阶算法（只求一次导）
    • 随机梯度下降
      • 样本不随机 梯度随机
• 凸函数
  • 二阶导大于等于0 是凸函数 J"(θ)>=0
• L1/L2正则化
• 决策树算法
  • 单棵树
    • 子主题
    • 子主题
  • 集成学习
    • bagging算法
      • 随机森林
    • boosting算法
• 数学基础
  • 微积分
    • 导数/偏导数
  • 概率论基础
  • 协方差
  • 中心极值定理
  • 矩估计
• 特征工程