回归预测数值型数据自学思维导图

回归预测数值型数据自学思维导图，整理了股用线性回归找到最佳拟合直线、局部加权线性回归、示例：预测鲍鱼的年龄、缩减系数来“理解”数据的内容，欢迎大家学习。

回归预测数值型数据自学思维导图

• 用线性回归找到最佳拟合直线
  • 优点
    • 易于理解
    • 计算不复杂
  • 缺点
    • 对非线性数据拟合不好
  • 适用数据类型
    • 数值型
    • 标称型
  • 回归
    • 目的
      • 预测数值型的目标值
    • 回归方程
    • 回归系数
      • 求回归系数的过程叫做回归
    • 一般指线性回归
  • 一般方法
    • 收集数据
      • 任意方法
    • 准备数据
      • 回归需要数值型数据
      • 标称型数据需要转成二值型数据
    • 分析数据
      • 绘制可视化二维图有助于对数据做出理解和分析
      • 采用缩减法求得新回归系数后，可绘制做对比
    • 训练算法
      • 找到回归系数
    • 测试算法
      • 使用R2或预测值和数据的拟合度，分析模型的效果
    • 使用算法
      • 使用回归，可在给定输入的时候预测出一个数值
      • 是对分类方法的提升
      • 因为可以预测连续型数据了
  • 找出回归系数
    • 平方误差
      • 最优解
        • 注意
          • 逆可能不存在
    • 普通最小二乘法OLS
  • 判断模型好坏
    • 相关系数
      • corrcoef(yEstimate, yActual)
• 局部加权线性回归
  • 目的
    • 解决线性回归欠拟合的问题
  • 过程
    • 给待预测点附近的每个点赋予一定的权重
      • 越近权重越高
    • 在这个子集上基于最小均方差进行普通的回归
  • 回归系数
    • W
      • 权重矩阵
      • 核
        • 高斯核
          • k
            • 用户指定
  • 问题
    • 增加了计算量
      • 每次必须在整个数据集上运行
• 示例：预测鲍鱼的年龄
  • 表明
    • 必须在未知数据上比较效果才能选取到最佳模型
• 缩减系数来“理解”数据
  • 问题
    • 特征值比样本点多时，不是满秩矩阵，无法求逆
  • 岭回归
    • 回归系数
    • 目的
      • 处理特征值比样本点多的情况
      • 在估计中加入偏差，得到更好的估计
    • 缩减
      • 通过引入惩罚项，减少不重要的参数
    • 注意
      • 测试时lambda应以指数级变化
  • lasso
    • 对回归系数做了限定
      • 在lambda足够小时，一些系数会被迫缩减到0，可以帮助更好的理解数据
    • 需要使用二次规划算法，计算复杂
  • 前向逐步回归
    • 特点
      • 贪心算法
      • 可得到和lasso差不多的效果
      • 但更简单
    • 思想
      • 一开始，把所有权重设为1
      • 然后每一步对某个权重增加/减少一个很小的值
    • 伪代码
      • 数据标准化，使其分布满足0均值和单位方差
      • 每次迭代
        • 设置当前最小误差lowestError为正无穷
        • 对每个特征
          • 增大和减小
            • 改变一个系数得到一个新的W
            • 计算新W下的误差
            • 如果小于当前最小误差，则设置Wbest为当前的W
          • 将W设置为新的Wbest
    • 优点
      • 能找出不重要的特征及时停止
      • 用于测试，每100次迭代就可以构建一个模型，可以使用10折交叉验证等方法比较选出最小误差的模型
    • 应用缩减时，模型增加了偏差，减少了方差
• 权衡偏差与方差
  • 误差组成
    • 偏差
    • 测量误差
    • 随机噪声
  • 方差
    • 模型之间的差异
  • 偏差
    • 模型预测值和数据之间的差异
  • 偏差方差折中
• 示例：预测乐高玩具套装的价格
  • 收集数据：使用Google购物的API
  • 训练算法：建立模型