机器学习导论大纲

介绍了机器学习的基本思想，包括贝叶斯分类器、近邻分类器、线性和多项式分类器、决策树、神经网络以及支持向量机。

机器学习导论大纲

• 一个简单的机器学习任务
  • 训练集和分类器
  • 一点题外话：爬山搜索
  • 机器学习中的爬山法
  • 分类器的性能
  • 可用数据的困难
• 概率:贝叶斯分类器
  • 单属性的情况
  • 离散属性值的向量
  • 稀少事件的概率：利用专家的直觉
  • 如何处理连续属性
  • 高斯钟形函数：一个标准的概率密度函数
  • 用高斯函数的集合近似概率密度函数
• 相似性:最近邻分类器
  • k近邻法则
  • 度量相似性
  • 不相关属性与尺度缩放问题
  • 性能方面的考虑
  • 加权最近邻
  • 移除危险的样例
  • 移除多余的样例
• 类间边界:线性和多项式分类器
  • 本质
  • 加法规则：感知机学习
  • 乘法规则：WINNOW
  • 多于两个类的域
  • 多项式分类器
  • 多项式分类器的特殊方面
  • 数值域和支持向量机
• 人工神经网络
  • 作为分类器的多层感知机
  • 神经网络的误差
  • 误差的反向传播
  • 多层感知机的特殊方面
  • 结构问题
  • 径向基函数网络
• 决策树
  • 作为分类器的决策树
  • 决策树的归纳学习
  • 一个属性承载了多少信息
  • 数值属性的二元划分
  • 剪枝
  • 将决策树转换为规则
• 计算学习理论
  • PAC学习
  • PAC可学习性的实例
  • 一些实践和理论结果
  • VC维与可学习性
• 增强学习
  • 如何选出最高奖励的动作
  • 游戏的状态和动作
  • SARSA方法
• 遗传算法
  • 基本遗传算法
  • 单个模块的实现
  • 为什么能起作用
  • 过早退化的危险
  • 其他遗传算子
  • 高级版本
  • k-NN分类器的选择
• 统计显著性
  • 总体抽样
  • 从正态分布中获益
  • 置信区间
  • 一个分类器的统计评价
  • 另外一种统计评价
  • 机器学习技术的比较
• 性能评估
  • 基本性能标准
  • 精度和查全率
  • 测量性能的其他方法
  • 多标签域内的性能
  • 学习曲线和计算开销
  • 实验评估的方法
• 了解一些实践知识
  • 学习器的偏好
  • 不平衡训练集
  • 语境相关域
  • 未知属性值
  • 属性选择
  • 杂项
• 投票组合简介
  • “装袋”方法(Bagging)
  • 夏皮尔提升(Schapire's Boosting)
  • Adaboost—Boosting的实用版本
  • Boosting方法的变种
  • Boosting方法的计算优势
• 几个有帮助的案例
  • 字符识别
  • 溢油检测
  • 睡眠分类
  • 脑机界面
  • 医疗诊断
  • 文本分类