集成学习-第二部分

这是一篇关于集成学习-第二部分的思维导图，集成学习（Ensemble Learning）是一种机器学习方法，通过构建并结合多个学习器来完成学习任务。

集成学习(第二部分)

• 集成学习-回归
  • 随机森林
    • 方法：弱学习器采用CART回归树，计算各个弱学习器结果的均值
  • AdaBoost
    • 相比分类，回归的更新样本权重的依据不同
      • 第一步：计算各个样本预测值与实际值的误差
      • 第二步：根据各个样本的误差与样本权重计算当前弱学习器的回归误差
      • 第三步：根据回归误差，计算当前弱学习器的权重
      • 第四步：根据当前弱学习器的权重与各样本误差更新样本权重
      • 图解：
    • 依旧通过线性加权的强学习器得出回归结果
• 集成学习-分类
  • GBDT
    • 方法：由于GBDT基学习器是回归树，因此结合逻辑回归中的sigmoid函数可以将预测值映射到[0-1]区间，再通过交叉熵损失进行优化，完成分类任务
• 随机森林的其他应用
  • 数据集的缺失值填充
  • 数据集的特征筛选