fisher信息量

这是一篇关于fisher信息量的思维导图，Fisher信息量是信息论和统计学中的一个重要概念，它主要用来衡量某个观测值或一组观测值所能提供的关于未知参数的信息量。

中心主题

• 引入： fisher信息源于参数估计
  • 参数估计是什么？
  • 参数估计两个问题
    • 如何用n次观测估计参数
    • 用多少次观测来估计参数
      • 需要fisher信息指导观测
  • 总结：fisher信息能在观测前就能够预测估计的结果有多准确，因此可以用来评估观测的收益大小，因此可以提前设计如何观测
  • fisher信息指导观测
• 例子直观说明
  • 例子1
    • 恒温房间温度计测量房间温度，估计房间温度θ，实际测量X=θ+误差
  • 例子2
    • 但是温度计始终差一点，估计这一点差值θ，实际测量X=房间温度+θ+误差
  • 总结：对于例子1，测量几次取平均即可，但是想要达到同样精度，不同温度可能需要的观测次数不同， 普通温度计误差比较大，μ方差大，需要大量的样本才能估计较好的θ，因此观测样本具有较少的θ信息 高精度温度计误差小，μ方差小，需要少量样本即可很好的估计θ，因此可以说观测样本具有较多θ的信息
  • 观测噪声方差越小， 观测样本包含参数信息量越多
• 参数估计方法： 极大似然估计说明
  • 如果有n个观测，估计未知参数常用方法为极大似然估计
  • 过程
    • 给出随机变量密度函数
    • 给出相应的对数似然函数(参数θ的函数)
    • 给出得分函数(似然函数关于θ的导数)
  • 从正态分布X的三个函数曲线分析： 1.如果观测噪声方差越小，则密度函数峰值越大，仅少量观测可估计均值θ，因此观测样本具有较多的θ信息 2.如果观测噪声较大，则密度函数平缓，观测分散，含信息量少 3.计算得到正态分布信息量为1/σ²
  • 总结：观测噪声方差越小，密度函数越集中观测样本包含参数信息量越多
  • 观测噪声方差越小，密度函数越集中 观测样本包含参数信息量越多
• score函数
  • 似然函数分析
    • 密度函数，方差小的比方差大的陡峭 似然函数，方差小的也会比方差大的陡峭， 因此似然函数，方差小时量变快速下降，方差大缓慢下降
    • 似然函数也越陡峭，因此观测样本包含信息量越多
  • 似然函数的陡峭与平缓由一阶导数决定，因此定义其一阶导数为score函数
  • 总结：似然函数越陡峭，则一阶导数绝对值越大，因此观测样本包含信息量越多
  • 一阶导数绝对值越大，因此观测样本包含信息量越多
• Fisher信息量
  • 虽然score函数能够体现样本包含参数的信息量大小，但是由于score是一个变化的函数！！因此还需要一个体现包含信息量大小的数值Var(S(θ))
  • • 期望等于0
    • 方差是距离期望0的偏离程度
  • score函数特点：θ取真值时，score函数一定等于0， 因为极大似然估计是无偏估计，对似然函数求导等于0的是等于θ真值
  • 总结：一阶导数方差越大，偏离0点越多，整体的绝对值越大，观测量包含的信息量越多
  • 一阶导数方差越大，观测量包含的信息量越多