信道与信道容量

大三上信息论基础与应用，信道是信息传输的通道，是通信系统的重要组成部分，是传输信息的载体，其主要任务是传输或者存储信息。信道是信息论的主要研究对象之一，其主要研究内容是在理论上能够传输或者存储的最大信息量，即信道容量。

信道与信道容量

• 信道分类和参数表示
  • 信道分类
    • 基于传输媒介分类
      • 有线信道
        • 固体介质：电缆
        • 混合介质：光缆
      • 无线信道
        • 长波、中波、短波、超短波
        • 微波
        • 光波
    • 基于信号类型分类
      • 离散数字信道
      • 连续模拟信号
      • 半连续或半离散信道
    • 基于干扰类型分类
      • 无干扰
      • 有干扰
        • 线性叠加干扰
          • 脉冲干扰信道
          • 高斯白噪声信道？
        • 乘性干扰
          • 衰落信道
          • 码间干扰信道
  • 信道的统计描述
    • 信道输入统计概率空间[X,p(x)]T
    • 信道输出统计概率空间[Y,p(y)]T
    • 信道传递函数p(y|x)
  • 离散信道
    • 无干扰（无噪）信道：输出Y与输入X有确定复关系（概率非1即0）
    • 有干扰
      • 无记忆
        • 二进制离散对称信道BSC
        • 离散无记忆信道DMC
        • 离散输入连续输出（信道的转移概率取决于噪声）
        • 波形信道（输入是模拟波形，输出也是模拟波形）
      • 有记忆：马尔科夫链
• 离散单符号信道及其容量
  • 信道容量C定义
    • 引入：信息传输速率用平均互信息量来表示，是因为互信息量能够准确衡量输入信息和输出信息之间的相关性，反映出信道在一定条件下的传输效率
    • 可传输信息速率的最大值为信道容量=平均互信息量/周期
  • 离散单符号无噪信道及其容量
    • 无损信道
      • 一对一转移。所以转移概率矩阵是确定的,p(y|x)不是0就是1，那么H(Y|X)=H(X|Y)=0
      • C=max{H(X)}=max{H(Y)}=logr=logs（r=s）(互信息量在转移概率一定时，关于输入概率是上凸函数）
    • 有损信道
      • 多对一。发送不会出错, 无噪声。但是根据接收符号, 无法准确判断发送符号, 有信息损失，那么H(Y|X)=0
      • C=max{H(Y)}=logs（r>s）
  • 离散单符号有噪信道及其容量
    • 无损信道
      • 一对多。根据接收的符号, 可以完全确定发送符号, 无信息损失。H(X|Y)=0
      • C=max{H(X)}=logr（r<s）
    • 有损信道
      • 对称DMC
        • 满足输入对称且满足输出对称，那么概率矩阵中H(Y|X)=H(Y|Xi)（输入等概分布）
        • C=max{H(Y)-H(Y|X)}=max(H(Y)}-H(Y|Xi)=logs-H(Y|Xi)（输出也等概分布）
      • 准对称DMC
        • 只满足输入对称，不满足输出对称
        • C=max{H(Y)-H(Y|X)}=max(H(Y)}-H(Y|Xi)=logs-H(Y|Xi)（输入和输出都等概分布）
      • 强对称
        • 输入输出的符号数一样（r=s）；转移矩阵的对角线上代表传输正确的概率为(1-错误概率)，每行剩余等概分布（错误概率/(s-1)）
        • C=max{H(Y)-H(Y|X)}=max(H(Y)}-H(Y|Xi)=logs-H(1-错误概率，错误概率/(s-1)，...，错误概率/(s-1))（输入和输出都等概分布）
• 离散序列信道及其容量
  • 并联信道
    • 无记忆：I(X;Y)=求和(I(Xi|Yj))
    • 有记忆：I(X;Y)<求和(I(Xi|Yj))
  • 和信道公式
  • 扩展信道：离散无记忆并联信道公式
• 连续信道及其容量
  • 时间离散信道
  • 时间连续信道香农公式
    • C=Wlog(1+SNR)=Wlog(1+P/(WN))
    • C关于W的曲线
• 此时的输入都是等概分布
• 研究信道的目的是研究在无失真条件下信道中能传输或存储的最大信息量