机器学习之贝叶斯决策

本图总结了贝叶斯决策的基本内容，如分类决策、回归决策、高斯分类决策、K近邻分类方法、贝叶斯网络以及马尔可夫网络等，快来看看。

机器学习 贝叶斯决策

• 机器学习的框架
  • ①前期工作
    • 收集数据
    • 预处理数据（数据清洗，标注等）
    • 确定算法模型
      • 监督学习
      • 神经网络模型
      • 支持向量机模型
      • ...
  • ②训练过程
    • 选择模型规模和参数
    • 确定性模型
      • 得到判别函数y=f(x)
    • 概率模型
      • 联合概率p(x,y)或后验概率p(y|x)
  • ③推断或预测过程
    • 确定性模型
      • 输入新特征向量x，直接得到结果
    • 概率模型
      • 先计算得到后验概率p(y|x)
      • 通过后验概率和风险函数获得判别准则做出决策
• 机器学习中的决策
  • 确定性模型
    • 函数关系确定
      • 直接训练得到确定的函数关系y=f(x)
      • 给定新的特征向量x，得到确定的结果，一般不需决策
    • 分类问题
      • 输出“离散值”并表示类型
    • 回归问题
      • 输出“连续值”
  • 概率模型
    • 生成模型
      • 输出联合概率p(x,y)
    • 判别模型
      • 输出后验概率p(y|x)
  • 贝叶斯决策
    • 用风险函数作为评价函数
    • 通过最小化风险函数的后验概率期望(贝叶斯风险函数)获得判决准则
    • 然后利用判决准则对模型输出的结果做出结论
• 分类的决策
  • 最小错误分类率准则MMR
    • 错误分类率（以二分类问题为例）
      • x属于C1类却被分类为C2； x属于C2类却被分类为C1
    • 总错误分类率
    • 决策公式
      • 则分类为C1
      • 后验概率最大的类作为分类输出
    • 适用
      • 所有错误的代价是平等的情况
  • 加权错误率准则
    • 损失加权矩阵L（风险函数）
      • 元素Lkj是将Ck分类为Cj的代价加权值
    • 分类为Cj的风险
  • 拒绝判决
    • 适用
      • 在某区间内分类为C1和C2的概率都不高，为了保证可靠性而拒绝判决
    • 意义
      • 可以降低错误分类率，但需要合理设定拒绝判决阈值区间
• 回归的决策
  • 均方误差MSE
  • 最小均方误差MMSE
    • 解释
      • 回归得到参数y的后验概率期望值
      • 应用于MMSE贝叶斯参数估计器
• 高斯情况下的分类决策
  • 相同协方差矩阵情况的二分类
    • 线性判决函数
    • 类后验概率
      • 与判定函数的关系 (Sigmoid函数关系)
      • 决策
        • g(x)>0, C1
        • g(x)<0, C2
  • 不同协方差矩阵情况的二分类
    • 非线性判决函数
    • 类后验概率
      • 与判定函数的关系 (Sigmoid函数关系)
      • 决策
        • g(x)>0, C1
        • g(x)<0, C2
  • 多分类情况
    • 后验概率
    • 决策
      • gi(x)最大的类，p(Ci|x)最大，判定为Ci
• KNN方法
  • 具体流程
    • 对于给定的近邻数K，给出一个新的待分类样本，以该样本为中心形成一个圆（三维以上情况时对应为超球体），半径逐渐扩大直到圆内包含了K个训练集样本，将圆内包含的K个训练样本表示为Dk，统计Dk内各类型样本数，最多的类型作为新样本的类型
  • 本质
    • 分类问题
      • 近邻样本中哪种类型多，新样本就是这种类型
      • 基于分类错误率最小的决策准则，后验概率最大化
    • 归回问题
      • 输出后验条件概率的期望值
  • 问题
    • K较小时
      • 过拟合
    • K较大时
      • 欠拟合
    • 超参数K如何确定
• 概率图模型概述
  • 贝叶斯网络(有向图模型)
    • 有向图模型
      • 联合概率分解
        • xfk表示xk的父节点集合
      • 随机变量集合条件独立性
        • 前提
          • 以集合C作为条件
        • 判断集合A和B是否独立(D分离原则)
          • A和B之间有通道
            • 能通过一些中间节点（不考虑连线方向）连接了集合A中的一个节点和集合B中的一个节点
          • 集合C阻断了一条通道
            • 满足条件之一即可
            • ①遇到“头尾”或“尾尾”节点，该节点属于集合C
            • ②遇到“头头”节点，该节点或其子孙节点均不属于集合C
          • C条件下集合A和B独立
            • A和B之间的全部通道都被集合C阻断了
            • p(A,B|C)=p(A|C)p(B|C)
      • 用途
        • 降低表示联合概率的"复杂性"
        • 判断随机变量之间的"条件独立关系"
    • 朴素贝叶斯模型
      • 概率结构假设
      • 联合概率
    • 隐马尔可夫模型HMM
      • 特点
        • 用于建模序列数据，即按照时间顺序排列的数据向量x1,x2,..,xN，具有时序关系
        • xi+1的取值概率与xi起直到x1的所有以前向量均有关系
        • 在循环神经网络应用之前，HMM是序列建模的常用方法
      • HMM概率结构
      • 联合概率
  • 马尔可夫网络(无向图模型)
    • 团与最大团
      • 团
        • 一个节点子集，该子集中的任何一对节点间有连线
      • 最大团
        • 对于一个给定的无向图，一个最大团是指一个节点子集构成的团，图中不再有一个其他节点能够与该子集构成更大的团
    • 能量函数
      • 团的能量函数
      • 总能量函数
    • 最大团的势函数
      • 用指数函数表示势函数的概率函数称为玻尔兹曼分布
    • 概率函数
  • 图模型的学习与推断
    • 学习
      • 有向图
        • 概率
        • 对数似然函数
      • 无向图
        • 概率
        • 对数似然函数
    • 推断
      • 实质
        • 根据随机变量集合x的观测值，推断其他变量的条件概率
      • 过程
        • 变量分类
          • 将问题所涉及的变量集合分为3个子集
            • xo：观测用到的变量集合
            • xq：想要推断的变量集合
            • xu：其他变量
        • 条件概率
        • 二分类实例
• 决策过程总结
  • 判断模型类型
    • 确定性模型
      • 直接输出结果，无需决策
    • 概率模型
      • 输出结果概率，需决策
  • 问题类型
    • 分类
      • 根据新特征向量计算后验概率
      • 若各类错误同等重要
        • 简单的最大后验准则即可确定分类
      • 若各类错误代价不同
        • 需要考虑风险加权矩阵，最小错误率准则确定分类
    • 回归
      • 计算后验期望作为回归输出