信息论与编码原理：第二章 信道和信道容量

《信息论与编码原理》系统地讲述了信息论与编码的基本理论，共11章，内容包括：信息的基本概念、信源及其信息量、信道及其容量、信息率失真函数、信源编码和信道编码定理、网络信息论以及信源编码和信道编码的理论与方法。这是信道和信道容量的内容，后续还会发布。

信道和信道容量

• 信道模型
  • 信道分类
    • 信号特点
      • 离散信道
      • 连续信道
      • 波形信道
    • 响应特性
      • 有记忆信道
      • 无记忆信道
    • 用户数量
      • 单用户信道
      • 多用户信道
  • 信道概率传递矩阵
    • 信道的前向概率矩阵
      • 
    • 二元对称信道（BSC）
      • 
    • 二元删除信道（BEC）
      • 
• 平均互信息和信道容量
  • 信道的平均互信息
    • 就是在一次通信的过程中，通过信道传输的平均有效信息量
    • 
    • 性质
      • 1，非负性
      • 2，有界性
      • 3，对称性
      • 4，极值性
  • 信道容量
    • 
    • 性质：1，信道容量C>=0 2，信道容量C<=min{log|X|,log|Y|}
    • 信道容量大小完全由信道本身特性决定
• 特殊信道的信道容量
  • 无噪无损信道
    • 特性：一一对应，是一个确定性信道
      • 
    • 当输入概率和输出概率分布为等概率分布时有最佳分布
    • C=log|X|=log|Y|
  • 无噪有损信道
    • 特性：X与Y是多对一关系
      • 
    • 当输出概率分布为等概率分布时有最佳分布
    • C=log|Y|
  • 有噪无损信道
    • 特性：X与Y是一对多关系
      • 
    • 当输入概率分布为等概率分布时有最佳分布
    • C=log|X|
  • 有噪打字机信道
    • 信道容量
      • C=log13
  • 二元对称信道
    • 信道容量
      • C=1-H(p)
  • 二元删除信道
    • 信道容量
      • C=1-α
  • 对称离散无记忆信道
    • 如果矩阵行和列都是可排列的，则矩阵是可排列的，称为对称信道
• 组合信道的信道容量
  • 级联信道
    • I（X:Y)>=I(X:Z)
  • 并联信道
    • 1，并用信道
      • N个信道输入输出彼此独立，共同组成整个信道的输入输出
      • C为各信道C之和
    • 2，和信道
      • 由N个独立信道组成，但传输信息X每次只能通过其中一个信道
      • 
• 波形信道的信道容量
  • 联合熵
    • 
  • 噪声熵
    • 
  • 损失熵
    • 
  • 平均互信息
    • 
  • 信道容量
    • 
    • 
  • 
• 传码率和传信率
  • 传码率RB
    • 每秒信道所传输的码元数。单位是波特(B)，所以传码率也叫波特率。一般说来信道所传输的码元就是信源所发出的码元，传码率=发码率。
  • 发信率Rb
    • 每秒信源所发送的信息数。单位是比特/秒(b/s),所以发信率也叫比特率，R,=RB·H(X)
  • 传信率Rt
    • 每秒信道所传输的净信息数。单位也是比特/秒(b/s)，R,=RB·I(X;Y)