信源与信息熵

《信息论与编码》第二章信源与信息熵笔记，包括信源的分类及数学模型、信源的冗余度、连续信源的熵和互信息、离散序列信源的熵等内容。

第二章 信源与信息熵

• 2.2 离散信源熵和互信息
  • 自信息量
    • I(xi)=-log p(xi)
    • 常用2作底数，单位为bit
    • 取自然对数作底数，单位为nat
    • 以10为底数，单位为det
    • 特性
      • p(xi)=1,I(xi)=0
      • p(xi)=0,I(xi)=无限大
      • 非负性
      • 单调递减性
      • 可加性
  • 离散信源熵
    • 平均自信息量
      • 平均每个符号所能提供的信息量，只与信源各符号出现的概率有关
      • 计算方法
      • 单位 bit/符号
    • 平均不确定度（信源熵）
      • 信源熵是在平均意义上来表征信源的总体特性，它是信源X的函数，一般写成H（X）
      • 计算方法（和平均自信息量一致）
      • 单位 bit/符号
    • 条件熵
      • 在联合符号集合（X,Y）上的条件自信息量的联合概率加权统计平均值
      • H(X|Y)表示已知Y后，X的不确定度
      • 计算方法
      • 单位 bit/符号
    • 联合熵
      • 联合符号集合(X,Y)上的每个元素对(xi,yi)的自信息量的概率加权统计平均值
      • H(X,Y)表示X和Y同时发生的不确定度
      • H(X,Y)=H(X)+H(X|Y)=H(Y)+H(Y|X)
      • 计算方法
      • 单位 bit/符号
    • 先验概率
      • p(xi)
    • 后验概率
      • p(xi|yi)
  • 互信息
    • 未收到消息时对信源X的不确定度 减去 收到消息Y时对信源X的不确定度 的差值，称为X和Y的互信息I(X;Y)
      • I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=I(Y;X)
      • 对于单个符号之间的互信息I(xi;yi)=log p(xi|yi)/p(xi)
    • 0≤I(X;Y)≤H(X)
    • 条件熵H(X|Y) 又称为疑义度
    • 条件熵H(Y|X) 又称为噪声熵或者散布度
    • 条件互信息量
      • 在给定zk条件下，xi与yi之间的互信息量
  • 数据处理中信息的变化
    • 信息不增性
  • 相对熵
    • 对于同一信源的两个概率测度pi和qi，用于度量概率分布pi和qi之间的差异
    • 计算方法
    • 非负性
    • 当且仅当对所有i，pi=qi时，相对熵为零
  • 熵的性质
    • 非负性
    • 确定性
    • 对称性
    • 香农辅助定理
    • 最大熵定理
    • 条件熵小于无条件熵
    • 扩展性
    • 可加性
    • 递增性
• 2.3 离散序列信源的熵
  • 离散无记忆信源的序列熵
    • 计算方法
    • 满足平稳特性时，H(X1)=H(X2)=...=H(XL),平均每个符号熵为HL(X)=1/L H(X)=H(X)
  • 离散有记忆信源的序列熵
    • H(X)=H(XL)=ΣH(Xl | Xl-1)
    • 结论1 H(XL/XL-1)是L的单调非赠函数
    • 结论2 HL(X)大于等于H(XL|XL-1)
    • 结论3 HL(X)是L的单调非增函数
    • 结论4 L趋于无穷时 有极限熵，又称极限信息量
      • 计算方法
• 2.4 连续信源的熵和互信息
  • 幅度连续的单个符号信源熵
    • 连续信源熵为 无穷大项 加上 具有离散信源熵的形式的项
    • 通常我们丢掉无穷大的项，取有限的项称为微分熵
    • 计算公式
  • 波形信源的熵
    • 计算公式
  • 最大熵定理
    • 限峰功率最大熵定理
    • 限平均功率最大熵定理
• 2.5 信源的冗余度
  • 信息效率
    • 计算公式
  • 冗余度
    • 计算公式
  • 信息效率+冗余度=1
• 2.1 信源的分类及数学模型
  • 按照信源发出的消息时间和幅度上的分布情况
    • 离散信源
      • 指发出在时间和幅度上都是离散分布的离散消息的信源
    • 连续信源
      • 指发出在时间和幅度上是连续分布的连续消息（模拟消息）的信源
  • 按照信源发出的符号之间的关系分类
    • 无记忆信源
      • 发出单个符号的无记忆信源
      • 发出符号序列的无记忆信源
    • 有记忆信源
      • 发出符号序列的有记忆信源
      • 马尔可夫信源
        • 当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性（m阶马尔可夫信源）
        • m=1时，条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源称为齐次马尔可夫信源。
  • 重要概念
    • 一步转移概率
      • pij(m)=P{Sm+1=j|Sm=i},i,j∈S
    • 转移矩阵
      • P={pij,i,j∈S}
    • 平稳与齐次的关系
      • 平稳包含齐次，但齐次不包含平稳
    • 稳态分布概率
      • 计算方法
      • 不可约性
      • 非周期性