人工智能：机器学习

人工智能基础学习系列，机器学习要点，感兴趣的同学，可以收藏下图。

周志华·机器学习

• 1. 绪论
  • 1.1. 引言
    • 1.1.1. 基本术语
      • 样本
        • 每一条记录
      • 训练
        • 从模型中学习
      • 数据集
        • 所有记录的集合
      • 维数
        • 样本的特征数
      • 泛化能力
        • 机器学习出来的模型适用于新样本的能力
      • 分类
        • 预测值为离散值
      • 回归
        • 预测值为连续值
  • 1.2. 学习类型
    • 1.2.1. 监督学习
      • 训练数据有标记信息的任务
    • 1.2.2. 非监督学习
      • 训练数据无标记信息的学习任务
  • 1.3. 假设空间
    • 1.3.1. 推理手段
      • 归纳
        • 广义
          • 样例学习
        • 狭义
          • 概念形成
            • 布尔概念
      • 演绎
  • 1.4. 归纳偏好
    • 1.4.1. 定义：机器学习算法在学习过程中对某种类型假设的偏好
    • 1.4.2. 方法：奥卡姆剃刀原则
  • 1.5. 发展历程
    • 1.5.1. 符号主义
      • 决策树
      • 基于逻辑学习
    • 1.5.2. 连接主义
      • 感知机
    • 1.5.3. 统计学习
      • 支持向量机
      • 核方法
  • 1.6. 应用学习
    • 1.6.1. 数据分析
    • 1.6.2. 无人驾驶
    • 1.6.3. 理解人类如何学习
• 2. 模型选择与评估
  • 1. 经验误差与过拟合
    • 1.1. 误差：实际输出/样本输出
      • 训练集：训练误差
      • 测试集：泛化误差
    • 1.2. 拟合
      • 欠拟合
        • 学习能力过弱
      • 过拟合
        • 学习能力过强
  • 2. 评估方法
    • 2.1. 流出法
      • 互斥的集合
    • 2.2. 交叉验证法
      • K折交叉验证
    • 2.3. 自助法
      • 自主采样法：基本
    • 2.4. 调参和自助模型
  • 3. 性能度量
    • 3.1. 衡量模型泛化能力
    • 3.2. 常用性能度量
      • 错误率与精度
        • 适用
          • 二分类
          • 多分类
      • P:查准率
      • R：查全率
      • 互为矛盾
      • F1
        • P和R的加权调和平均
      • ROC
        • 受试者工作特征
      • AUC
        • ROC曲线面积
      • 代价敏感错误率
      • 代价曲比较检验线
  • 4. 比较检验
    • 4.1. 假设检验
    • 4.2. 交叉验证T检验
    • 4.3. F检验
    • 4.4. Nenmeni检验
  • 5. 偏差与方差
    • 5.1. 偏差
      • 本身拟合能力
    • 5.2. 方差
      • 数据变动造成的影响
    • 冲突
• 3. 线性模型
  • 3.1. 基本形式
    • 3.1.1. 线性模型
  • 3.2. 线性回归
    • 3.2.1. 输入属性：1
      • 典型：最小二乘法
        • 预测值与真实值之间的误差并求和
        • MSE
        • 求偏导计算拟合直线
    • 3.2.2. 输入属性>1
      • 适用矩阵
    • 3.2.3. 对数线性回归
      • 指数变化
  • 3.3. 对数几率回归
    • 3.3.1. 线性回归结果：逼近对数几率
  • 3.4. 线性判别分析
    • 3.4.1. 贝叶斯理论解释
  • 3.5. 多分类学习
    • 3.5.1. ECOC
      • 编码
      • 解码
  • 3.6. 类别不平衡
    • 3.6.1. 不同类别的样例数差别大
• 4. 决策树
  • 4.1. 基本流程
    • 4.1.1. 特点：递归
    • 4.1.2. 基于树结构决策
    • 4.1.3. 目的：泛化能力强的树获得
  • 4.2. 划分选择
    • 4.2.1. 信息增益
      • 信息熵：样本集合纯度指标
    • 4.2.2. 增益率
      • 最优划分属性
    • 4.2.3. 基尼系数
      • 不一致概率
  • 4.3. 剪枝处理
    • 4.3.1. 预剪枝
      • 对应：过拟合
    • 4.3.2. 后剪枝
  • 4.4. 连续与缺失值
    • 4.4.1. 连续值处理
      • 二分法
    • 4.4.2. 缺失值处理
  • 4.5. 多变量决策树
    • 4.5.1. 建立一个合适的线性分类器
• 5. 神经网络
  • 5.1. 神经元
    • 5.1.1. 基本成分：神经元
    • 5.1.2. 处理：激活函数
  • 5.2. 感知机多层网络
    • 5.2.1. 感知机：2层神经元
      • 1层：功能神经元
      • 不可解：非线性问题
      • 异或问题：2层感知机
  • 5.3. 误差逆传播算法
    • 5.3.1. 更强大算法（BP）
      • 标准BP
        • 每次针对1组数据
        • 未决问题：设置神经元个数
          • 试错法
      • 累计BP
        • 累计误差最小化
      • 缓解过拟合
        • 早停
        • 正则化
  • 5.4. 全局最小与局部极小
    • 5.4.1. 全局最小
      • 遗传算法
      • 参数空间内梯度为零的点，只要其误差函数值小于邻点的误差函数 值，就是局部极小点
  • 5.5. 其他常见神经网络
    • 5.5.1. RBF
      • 确定神经元中心
      • 利用 BP 算法等来确定参数
    • 5.5.2. ART
    • 5.5.3. SOM
    • 5.5.4. 级联相关网络
    • 5.5.5. ELMAN
    • 5.5.6. Boltzmann机
  • 5.6. 深度学习
    • 5.6.1. 多层神经网络
• 6. 支持向量机
  • 6.1. 间隔和支持向量
    • 6.1.1. 间隔
      • 两个异类支持向量到超平面的距离之和
        • 子主题
    • 6.1.2. 支持向量
      • 最大化间隔：支持向量机
      • 定义：距离超平面最近点
  • 6.2. 对偶问题
    • 6.2.1. 二次规划问题
    • 6.2.2. 训练后样本不保留
  • 6.3. 核函数
    • 6.3.1. 对称函数所对应的核矩阵半正定
  • 6.4. 软间隔和正则化
    • 6.4.1. 向量机出错：某些样本
    • 6.4.2. 3种替代损失函数
      • hinge 损失
      • 指数损失
      • 对率损失
    • 6.4.3. 正则化
      • 最小化训练误差的过拟合风险
  • 6.5. 支持向量回归
  • 6.6. 核方法
• 7. 贝叶斯分类
  • 7.1. 贝叶斯决策论
    • 7.1.1. 概率决策方法
      • 基于概率和误判损失选择最优类别
  • 7.2. 极大似然估计
    • 7.2.1. 优点：条件概率估计简单
    • 7.2.2. 缺点：依赖假设概率
  • 7.3. 朴素贝叶斯分类器
    • 7.3.1. 来估计类先验概率
    • 7.3.2. 为每个属性估计条件概率
  • 7.4. .4半朴素贝叶斯分类器
    • 7.4.1. 对属性条件独立性假设进行一定程度的放松
  • 7.5. 贝叶斯网
    • 7.5.1. 组成
      • 结构
      • 参数
    • 7.5.2. 特点
      • 有向无环图刻画依赖关系
      • 条件概率表：属性概率分布
    • 7.5.3. 学习：数据压缩
    • 7.5.4. 推断
    • 7.5.5. EM算法
• 8. 集成学习
  • 8.1. 定义：构建多个学习器
    • 8.1.1. 个体学习器生成方法
      • 存在依赖关系
      • 不存在依赖关系
    • 8.1.2. 方法：使用策略
  • 8.2. boosting
    • 8.2.1. 弱学习→强学习
      • adaboosting
    • 8.2.2. 目的：降低偏差
  • 8.3. bagging
    • 8.3.1. 并行式集成学习方法
    • 8.3.2. 目标：降低方差
  • 8.4. 随机森林
    • 8.4.1. 基本：决策树
    • 8.4.2. 随机属性
  • 8.5. 结合策略
    • 8.5.1. 优点
      • 减少泛化功能不佳
      • 降低陷入糟糕局部最小点风险
      • 获得很好的近似
    • 8.5.2. 方法
      • 平均法
      • 投票法
      • 学习法
  • 8.6. 多样性
    • 8.6.1. 误差-分歧分解
    • 8.6.2. 多样性度量
    • 8.6.3. 多样性增强
      • 扰动
        • 数据
        • 属性
        • 表示
        • 参数
• 9. 聚类
  • 9.1. 定义
    • 9.1.1. 无监督学习
    • 9.1.2. 解释数据内在关系
  • 9.2. 性能度量
    • 9.2.1. 外部指标
    • 9.2.2. 内部指标
  • 9.3. 距离计算
  • 9.4. 原型聚类
    • 9.4.1. 先迭代
    • 9.4.2. 后初始化
    • 9.4.3. 方法
      • K均值算法
      • 学习向量量化
      • 高斯混合聚类
      • 密度聚类
  • 9.5. 密度聚类
    • 9.5.1. 根据样本紧密程度
  • 9.6. 层次聚类
• 10. 降维和度量学习
  • 10.1. k紧邻学习
    • 10.1.1. 监督学习方法
    • 10.1.2. 问题：没有显式训练过程
  • 10.2. 低维嵌入
    • 10.2.1. 原因：维数灾难
  • 10.3. 主成分分析
    • 10.3.1. 最近重构性
    • 10.3.2. 最大可分性
  • 10.4. 核化线性降维
  • 10.5. 流形学习
    • 10.5.1. 等度量映射
      • 指定紧邻点个数
    • 10.5.2. 局部线性嵌入
      • 临域内线性关系保持
  • 10.6. 度量学习
    • 10.6.1. 目的：低维空间
• 11. 特征选择和稀疏学习
  • 11.1. 自己搜索与评价
    • 11.1.1. 特征：属性
    • 11.1.2. 选择特征子集：特征选择
    • 11.1.3. 特征选择
      • 数据预处理方式
    • 11.1.4. 目的
      • 避免维数灾难
      • 降低学习难度
    • 11.1.5. 子集搜索
    • 11.1.6. 自己评价
  • 11.2. 特征选择方法
    • 11.2.1. 过滤式
    • 11.2.2. 嵌入式
    • 11.2.3. 包裹式
  • 11.3. 过滤式选择
    • 11.3.1. 相关统计量
    • 11.3.2. Relief
      • 确定相关统计量
  • 11.4. 包裹式设计
  • 11.5. 嵌入式选择与正则化
    • 11.5.1. 训练中选择特征选择
    • 11.5.2. 正则化
      • 缓解过拟合
  • 11.6. 稀疏表示
    • 11.6.1. 特征选择去除无关列
  • 11.7. 字典学习
    • 11.7.1. 稀疏编码
  • 11.8. 压缩感知
    • 11.8.1. 利用信号稀疏性
    • 11.8.2. 例：读书喜好
• 12. 计算学习理论
  • 12.1. 基础知识
    • 12.1.1. 本质：分析困难
  • 12.2. 有限假设空间
    • 12.2.1. 基本概念
      • 概率近似正确
  • 12.3. 有限假设空间
    • 12.3.1. 可分情形
    • 12.3.2. 不可分情形
    • 12.3.3. VC维
      • 现状：无限假设空间
    • 12.3.4. 几个基本概念
      • 增长函数
      • 对分
      • 打散
    • 12.3.5. Rademacher
  • 12.4. 稳定性
    • 12.4.1. 根据算法自身特性
    • 12.4.2. 检讨泛化误差姐
• 13. 半监督学习
  • 13.1. 未标记样本
    • 13.1.1. 现实需求强烈
  • 13.2. 种类
    • 13.2.1. 纯半监督学习
    • 13.2.2. 直推学习
  • 13.3. 方法
    • 13.3.1. 聚类假设
    • 13.3.2. 流形假设
  • 13.4. 生成式方法
    • 13.4.1. 假设：潜在同一模型生成
  • 13.5. 半监督SVM
    • 13.5.1. 假设：低密度分割
    • 13.5.2. 典型方法：TVSM
      • 2分类方法
  • 13.6. 图半监督学习
    • 13.6.1. 基于矩阵
    • 13.6.2. 颜色扩散
    • 13.6.3. 问题
      • 不能大规模计算
      • 需要数据重构
  • 13.7. 基于分歧的方法
    • 13.7.1. 受影响小
    • 13.7.2. 多个学习器
  • 13.8. 半监督聚类
    • 13.8.1. 获得监督信息
    • 13.8.2. 监督种类
      • 必联
        • 属于同族
      • 误联
        • 不属同族
• 14. 概率图模型
  • 14.1. 隐马尔可夫模型
    • 14.1.1. 动态贝叶斯网
      • 状态变量
      • 柔性变量
    • 14.1.2. 用图表达概率关系
  • 14.2. 马尔科夫随机场
    • 14.2.1. 无向图模型
      • 局部
        • 独立其他变量
      • 成对
        • 邻接变量
  • 14.3. 条件随机场
    • 14.3.1. 判别式
    • 14.3.2. 无向图模型
  • 14.4. 学习与判断
    • 14.4.1. 极大似然估计
    • 14.4.2. 概率图推断方法
      • 精确推断
      • 近似推断
    • 14.4.3. 变革消去
      • 图模型消减计算量
      • 缺点
        • 冗余计算
    • 14.4.4. 信念传播
  • 14.5. 近似推断
    • 14.5.1. MCMC采样
    • 14.5.2. 变分推断
      • 近似后验分布
      • 已知分布推断
  • 14.6. 话题模型
    • 14.6.1. 生成式
    • 14.6.2. 有向图
    • 14.6.3. 典型代表
      • LDA
• 15. 规则学习
  • 15.1. 规则定义
    • 15.1.1. 语义明确
    • 15.1.2. 客观规律
    • 15.1.3. 本质
      • 贪心搜索
  • 15.2. 序贯覆盖
    • 15.2.1. 目标
      • 数据覆盖
    • 15.2.2. 方法
      • 自顶向下
      • 自底向下
  • 15.3. 剪枝优化
    • 15.3.1. 统计显著性检验
  • 15.4. 一阶规则学习
    • 15.4.1. 命题逻辑表达
  • 15.5. 归纳逻辑程序设计
    • 15.5.1. 特点
      • 有表达能力
      • 基于背景归纳
    • 15.5.2. 最小一般泛化
    • 15.5.3. 逆归结
      • 需要合一置换
• 16. 强化学习
  • 16.1. 任务与奖赏
    • 16.1.1. 强化学习
      • 多次反复
      • 不断总结
  • 16.2. K-摇臂赌博机
    • 16.2.1. 探索与利用
      • 每个动作的奖赏
      • 最大奖赏的动作
    • 16.2.2. e-贪心
    • 16.2.3. softmax
  • 16.3. 有模型学习
    • 16.3.1. 策略评价
    • 16.3.2. 策略改进
      • 策略迭代
      • 值迭代
  • 16.4. 免模型学习
    • 16.4.1. 问题无法评估
    • 16.4.2. 蒙特卡罗强化学习
      • 不利用MDP
    • 16.4.3. 时序差分学习
  • 16.5. 值函数近似
    • 16.5.1. 状态-动作函数
      • 获取策略
  • 16.6. 模仿学习
    • 16.6.1. 直接模仿学习
    • 16.6.2. 逆强化学习
      • 运用：奖赏函数
      • 范例函数最优