信源与信息熵

信息论基础与应用，包含信源的描述和分类、离散单符号信源的熵与互信息、离散序列信源熵（平稳）、信源的相关性和冗余度等详细知识点。

信源与信息熵

• 信源的描述和分类
  • 离散信源
    • 无记忆：独立同分布信源
    • 有记忆：马尔科夫信源
  • 连续信源
    • 无记忆：产生随机连续信号的信源
    • 有记忆：产生信号与之前信号有关的信源（比如说含有反馈的信源
• 离散单符号信源的熵与互信息
  • 无记忆离散信道
  • 自信息量（对某个信息不确定度的一个描述）公式
    • 联合自信息量公式
    • 条件自信息量公式
    • 各个自信息量之间的关系公式
  • 离散单符号信源的熵（表示该信源的不确定度）公式
    • 联合熵公式
    • 条件熵公式
    • 俩者关系公式
  • 信息熵的基本性质
    • 香农辅助定理（don't understand）
    • 最大熵定理（等概率时信息熵最大，也就是不确定度最高）
  • 互信息量/平均互信息量（描述俩个信息的相关性）公式
    • 做图理解互信息量与条件熵的区别
    • 性质
      • 具有凸性
        • 当条件分布概率p(y|x)确定时，互信息量是输入概率p(x)的上凸函数
        • 当输入概率p(x)确定时，互信息量是分布概率p(y|x)的下凸函数
      • 有3个变量的互信息量公式
      • 信息具有不增性：因为越处理，信息的确定度越高，那么其信息量就会减少
• 离散序列信源熵（平稳）
  • 无记忆（独立同分布）：可加性公式
  • 有记忆
    • 信源熵公式
    • 结论
      • 条件信源熵是单调非增函数
      • 平均信源熵>=条件信源熵
      • 平均信源熵是关于长度L的单调非增函数
      • 当长度L趋于无穷时，平均信源熵被称为极限熵/熵率/符号熵
    • 马尔科夫链的极限熵计算公式
• 信源的相关性和冗余度
  • 对于平稳有记忆信源，相关性最大，序列的信息熵接近于商率
  • 信息效率=极限熵/Hm
  • 冗余度：不包含信息的占比=1-信息效率
• 信息论的起始确实不是单纯地研究“确定的信息”，而是关注如何量化和处理信息传输过程中的不确定性
• Hm怎么算？
• 平稳信源（分布与起始时间无关）
  • 无记忆：独立同分布
  • 有记忆：具有遍历性的马尔科夫信源（已知转移矩阵P，计算初始状态W）