决策树架构算法编程思维导图

本图是决策树架构算法编程思维导图，一张图带你完全了解相关内容，帮你提高效率，赶紧来试一试吧~

决策树架构算法编程思维导图

• 决策树的构造
  • 优点
    • 计算复杂度不高
    • 输出结果易于理解
    • 对中间值的缺失不敏感
    • 可以处理不相关特征数据
  • 缺点
    • 可能会产生过度匹配的问题
  • 适用数据类型
    • 数值型
    • 标称型
  • 问题
    • 当前数据集哪个特征在划分数据分类时起决定性作用
  • 伪代码
  • 流程
    • 收集数据
      • 任何方法
    • 准备数据
      • 树构造算法只适用于标称型数据
      • 数值型数据必须离散化
    • 分析数据
      • 任何方法
      • 构造完之后，应检查图形是否符合预期
    • 训练算法
      • 构造树的数据结构
    • 测试算法
      • 使用经验树计算错误率
    • 使用算法
      • 可更好地理解数据的内在含义
  • 决策树算法
    • 二分法
    • ID3
      • 本节采用
      • 缺点
        • 无法直接处理数值型数据（尽管可用量化方法）
    • C4.5
    • CART
      • Ch9
  • 信息增益
    • 使用信息论度量信息的内容
    • 信息增益
      • 划分数据集前后信息发生的变化
      • 选择信息增益最高的特征
    • 熵
      • 信息的期望值
      • 熵越高，混合的数据越多
    • 基尼不纯度
      • 从一个数据集中随机选取子项，度量其被错误分类到其他分组的概率
      • 本书不采用
  • 划分数据集
    • 本例数据要求
      • 相同长度
      • 最后一列是类别标签
    • 找到最好的信息增益
  • 递归构建决策树
    • 结束条件
      • 遍历完所有划分数据集的属性
      • 或每个分支下的所有实例都具有相同的分类
• 使用Matplotlib注解绘制树形图
  • Matplotlib注解
    • 注解工具annotations
      • 内嵌支持带箭头的划线工具
  • 构造注解树
    • 问题
      • 确定x轴长度
        • 知道有多少个节点
      • 确定y轴长度
        • 知道树有多少层
• 测试和存储分类器
  • 测试算法：使用决策树执行分类
  • 使用算法：决策树的存储
    • pickle
    • kNN无法持久化
• 示例：使用决策树预测隐形眼镜类型
  • 数据集
  • 过度匹配
    • 裁剪
    • Ch9