《mechine learning 机器学习（周志华 ）》读书笔记

机器学习是计算机科学与人工智能的重要分支领域. 本书作为该领域的入门教材，在内容上尽可能涵盖机器学习基础知识的各方面。 为了使尽可能多的读者通过本书对机器学习有所了解。作者试图尽可能少地使用数学知识. 然而, 少量的概率、统计、代数、优化、逻辑知识似乎不可避免. 因此, 本思维导图更适合大学三年级以上的理工科本科生和研究生, 以及具有类似背景的对机器学习感兴趣的人士。喜欢的小伙伴可以点个赞哦！

机器学习

• 基础知识
  • 1、绪论
  • 2、模型评估与选择
  • 3、线性模型
• 常用方法
  • 决策树
  • 神经网络
  • 支持向量机
  • 贝叶斯分类器
    • 贝叶斯决策论
      • 基于后验概率计算误分类的期望损失，即条件风险
      • 子主题
    • 极大似然估计
    • 朴素贝叶斯分类器
    • 半朴素贝叶斯分类器
    • 贝叶斯网
    • EM算法
  • 集成学习
    • 基学习器（同质），组件（个体）学习器（异质）；个体学习器要有准确性（好于弱分类器）、多样性（具有差异）
    • 按照个体学习器生成方式分类
      • 强依赖关系，必须串行生成的序列化方法：Boosting（降低偏差）
        • 根据基学习器表现调整样本分布权值训练下一个基学习器
        • 重采样，可重启动，避免训练过早停止
      • 不存在强依赖关系，可同时生成的并行化方法：Bagging（降低方差）
        • 自助采样法
        • 随机森林Random Forest：（决策树为基学习器）bagging+随机属性选择
    • 结合策略
      • 好处
        • 统计：泛化性能增强
        • 计算：降低陷入局部最小点的风险
        • 表示：扩大假设空间，包含真实假设可能性增大
      • 平均法
        • 简单平均法：个体学习器性能差异小
        • 加权平均法：个体学习器性能差异大，非负和为一
      • 投票法
        • 多数投票法
          • 绝对多数投票法：超过一半，否则拒绝预测
          • 相对多数投票法：得票最多，同票时随机选取
        • 加权投票法
          • 类标记 （0/1）硬投票
          • 类概率（后验概率p估计）软投票
            • 规范化，需先用platt缩放、等分回归进行校准
            • 不同类型基学习器的类概率不能比较，可转化为类标记再投票
      • 学习法
        • 通过另一个学习器来进行结合（个体学习器=初级学习器，结合学习器=次级/元 学习器）
        • stacking
          • 初级学习器输出作为次级学习器的输入特征，对应label不变
          • 交叉验证/留一法；训练集训练初级学习器，测试集样本经过初级学习器+label训练次级学习器
    • 多样性
      • 误差-分歧分解
        • 分歧：反映个体学习器的多样性（越大越好）
        • 误差：反映个体学习器的准确性（越高越好）
      • 多样性度量
        • 不合度量：两个个体学习器得到相异结果的概率，越大多样性越好
        • 相关系数：相关性（+、-、0）
        • Q-统计量：与相关系数同号，且绝对值更小
        • k-统计量：若两个分类器在训练集上完全一致k=1，偶然一致k=0，一致概率小于偶然概率k<0
        • （成对型多样性度量）k-误差图：k越大多样性越差；误差越大准确性越差
      • 多样性增强
        • 数据样本扰动
          • 采样法：自助采样、序列采样
          • 适用于决策树、神经网络等不稳定基学习器
        • 输入属性扰动
          • 针对高维多冗余属性；属性子空间：降维投影、随机子空间
          • 适用于线性学习器、SVM、朴素贝叶斯、K邻近学习器等稳定基学习器
        • 输出表示扰动
          • 翻转法：随即改变一些训练样本的标记
          • 输出调制法：将分类输出转化为回归输出
          • 原任务拆解为多个可同时求解的子任务；ECOC：纠错输出码，多分类拆解为多个二分类
        • 算法参数扰动
          • 神经网络：隐层神经元数、初始连接权值
          • 负相关法：正则化，强制个体神经网络使用不同参数
          • 决策树：属性选择机制替换为其他属性机制
  • 聚类
    • 无监督学习，不相干子集形成簇cluster，簇内相似度高，簇间相似度低
    • 性能度量（有效性指标）
      • 外部指标：与参考模型比较；Jaccard系数（JC）、FM指数(FMI)、Rand指数(RI)
      • 内部指标：簇内平均距离、最远距离，簇间最近距离、中心点距离；DB指数(DBI)越小越好、Dunn指数（DI）越大越好
    • 距离计算
      • 性质：非负性、同一性、对称性、直递性（三角不等式）
      • 闵科夫斯基距离(Lp范数）：p=2,欧式距离；p=1，曼哈顿距离；p=inf，切比雪夫距离
      • 连续属性/离散属性；连续+离散数值=有序属性（闵科夫斯基距离）；无序属性：VDM距离（同属性不同取值样本数差异）
      • 闵科夫斯基+VDM距离混合，先有序属性后无序属性；加权距离
      • 非度量距离：不满足距离度量性质；距离度量学习确定合适的距离计算式
    • 原型聚类
      • 子主题
      • 子主题
      • 子主题
    • 密度聚类
    • 层次聚类
  • 降维与度量学习
• 进阶方法
  • 特征选择与稀疏学习
  • 计算学习理论
  • 半监督学习
  • 概率图模型
  • 规则学习
  • 强化学习