PRML第一章

PRML相关的学习笔记思维导图。

PRML第一章

• 什么是模式识别？什么又是机器学习？
  • 模式识别
    • 寻找数据中的模式
    • Pattern recognition is the scientific discipline whose goal is the classification of objects into a number of categories or classes.
      • objects可以是图像、信号波形或者其他度量信息
      • 这些objects就是pattern，模式
      • 60年代以前，主要限于统计学的理论研究
      • 重要应用领域
        • 计算机视觉
        • 文字识别
        • 计算机辅助诊断 Computer aided diagnosis
        • 语音识别
        • 数据挖掘、知识发现
        • 生物数据分析（DNA等）
  • 机器学习
    • 组成部分
      • 训练集
      • 测试集
      • 泛化
      • 输入数据的预处理
        • 特征抽取
        • 加快计算速度
    • 类型
      • 监督学习
        • 回归
        • 分类
      • 无监督学习
        • 聚类（clustering）
        • 密度估计（density estimation）
          • determine the distribution of data within the input space
        • 数据可视化（visualization）
      • 强化学习（反馈学习）reinforcement learning
        • concerned with the problem of finding suitable actions to take in a given situation in order to maximize a reward
        • 信用分配（credit assignment)
        • 探索（exploration）和利用（exploitation）的折中
• 3个重要工具
  • 概率论
    • 基本法则
      • 加法法则
      • 乘法法则
      • p(X, Y ) 是联合概率，即X和Y同时发生的概率，并且p(X，Y） = p(Y, X)
      • p(X|Y）是条件概率，即Y发生的前提下，X发生的概率
    • 概率密度
      • 需满足条件
    • 期望与方差
      • 期望
        • 离散
        • 连续
    • 贝叶斯概率
    • 高斯分布
  • 决策论
    • 与概率论结合，有助于在带有不确定因素的情况下作出最优决策
      • 这里模式识别中的“不确定性”指的是啥？
    • 最小化错误分类比率
    • 最小化预期损失
    • 推断和决策
      • 判别函数
  • 信息论
    • 以“惊奇度”衡量信息的价值
      • 王宝强和马蓉继续打官司——惊奇度低
      • 王宝强和马蓉复婚——惊奇度高
    • 熵
      • 离散形式
    • • 看到这的时候，想起了以前学过的霍夫曼编码，主要思想与之类似
    • 香农的无噪编码定理（noiseless coding theorem）指出熵是传输某随机变量状态信息所需的最少比特数量
    • 相对熵和互信息
      • 相对熵/Kullback-Leibler散度
        • • with equality if, and only if, p(x) = q(x)
• 曲线拟合
  • 选择M是一种模型选择（model selection）或模型对比（model comparison）的问题
  • 过拟合 over-fitting
• 概率论派 vs
• 模型选择
• 维度诅咒
• PRML
  • 第3章
    • maximum likelihood solution属于Batch techniques ？
      • 一次性计算所有的训练集
      • 会非常耗时
    • 序列化算法，即线上算法
      • 数据被一个一个的处理
      • 适用于实时的流计算
      • stochastic gradient descent
        • 随机梯度下降
        • sequential gradient descent
    • 正则化最小二乘
      • sparse model
    • 多个输出
    • Bias-Variance Decomposition
    • 贝叶斯线性回归
      • 参数分布
      • 预测分布 Predictive Distribution
      • equivalent kernel 等价核
    • 贝叶斯模型对比
    • evidence approximation 证据近似
  • 第4章 分类的线性模型
    • 判别函数
      • 2个类别
      • 多个类别
        • learning the parameters of linear discrimi- nant functions
          • least squares
          • Fisher’s linear discriminant
          • the percep- tron algorithm