信息论 第二章 信息的度量思维导图

信息论 第二章 信息的度量 思维导图，包含自信息和互信息、平均自信息、平均互信息等。希望对你有所帮助！

第二章 信息的度量

• 自信息和互信息
  • 自信息
    • • 事件发生前，事件发生的不确定性。
      • 事件发生后，事件所包含的信息量。
    • • 先验概率
      • 后验概率
  • 互信息
    • 定义
      • 一个事件给出关于另一个事件的信息
    • 含义
      • 表示事件yj 出现前后关于事件 xi 的不确定性减少的量；
      • 事件 yj 出现以后信宿获得的关于事件 xi 的信息量。
      • 收到 yj 前和收到 yj 后不确定度被消除的部分。
    • 性质
      • 对称性
      • 可正可负可零
      • 任何两个事件之间的互信息不可能大于其中任一事件的自信息
• 平均自信息
  • 信息熵/信源熵/香农熵/无条件熵/熵函数/熵
  • 平均自信息的概念
  • 熵函数的性质
    • 对称性 信源分布相同即可
    • 确定性 必然事件熵为零
    • 非负性 离散信源的熵非负，离散信源的熵可能为负
    • 扩展性 增加一个概率接近于零的事件，信源熵保持不变
    • 连续性 概率分量的微小波动，不会引起熵的变化
    • 递增性 如果信源中某个元素又被分为m个元素, 则新信源的熵会增加一项, 即由于又划分 产生的不确定性。
    • 极值性 离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时，熵最大
    • 上凸性 函数的均值≤均值的函数
  • 联合熵与条件熵
    • 联合熵 表示对于二维随机变量的平均不确定性。
    • 条件熵 条件熵表示已知一个随机变量时，对另一个随机变量的平均不确定性。
• 平均互信息
  • 平均互信息的概念
  • 平均互信息的性质
    • • 性质
        • 对称性
          • I(X;Y)=I(Y;X)
        • 非负性
          • I(X;Y)≥0
        • 极值性
          • I(X;Y) ≤ min{H(X),H(Y)}
  • 与各类熵的关系
    • I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)