信息论与编码原理：第一章 信源与信源熵

《信息论与编码原理》系统地讲述了信息论与编码的基本理论，共11章，内容包括：信息的基本概念、信源及其信息量、信道及其容量、信息率失真函数、信源编码和信道编码定理、网络信息论以及信源编码和信道编码的理论与方法。这是第一章 信源与信源熵的内容，后续还会发布。

第一章 信源与信源熵

• 信源
  • 按发出消息的时间和幅值分布
    • 连续信源
    • 离散信源
  • 按输出符号之间依赖关系
    • 无记忆信源
    • 有记忆信源
• 信源的数学模型
  • 离散无记忆信源
  • 离散无记忆信源的拓展信源
  • 离散有记忆信源
• 离散信源的熵
  • 自信息
    • 
  • 信息熵
  • 熵 的基本性质
    • 1，对称性
    • 2，确定性
    • 3，非负性、
    • 4，拓展性
    • 5，可加性
      • H(X,Y)=H(X)+H(Y)
    • 6，强可加性
      • H(X,Y)=H(X)+H(X|Y)
    • 7，递增性
    • 8，上凸性
    • 9，极值性
  • 联合熵和条件熵
    • 联合熵
      • 
    • 条件熵
      • 
    • 噪声熵
      • 
    • 信道疑义度
      • 
• 互信息
  • 
  • 
  • 平均互信息
    •