离散信道及信道容量

信道的数学模型及其分类、平均互信息及平均条件互信息、平均互信息的特性离散无记忆扩展信道及信道容量。

离散信道及信道容量

信道的数学模型及其分类

信道的分类

根据用户的多少：两端信道、多端信道

根据信道输入端和输出端的关联：无反馈、有反馈

根据信道参数与时间关系：固定参数、时变参数

根据输入和输出信号的统计特性：离散、连续、半离散、波形

离散信道的数学模型

X->信道->Y

无干扰信道：

单符号离散信道：

平均互信息及平均条件互信息

信道疑义度：

表示在输出端收到输出变量Y的符号后，对于输入端的自变量X有存在的平均不确定性

平均互信息：

X和Y之间的互信息，它代表接收到输出符号后平均每个符号获得的关于X的信息量

平均条件互信息：

条件互信息与互信息的区别仅在于先验概率和后验概率都是在某一特定条件下的取值

平均互信息的特性

非负性

极值性

交互性

凸状性

信道容量及其一般计算方法

最大的信息传输速率即信道容量C

定理：一般离散信道的平均互信息

达到极大值（即等于信道容量）的充要条件是输入概率分布满足

离散无记忆扩展信道及信道容量

一般情况下，消息序列在离散无记忆的N次扩展信道中传输的信息量为

独立并联信道及其信道容量

X1->信道1（P(y1|x1))->Y1

X2->信道2（P(y2|x2))->Y2

串联信道的互信息和数据处理定理

X->信道1P(y|x)->y->信道2p(z|xy)->z

定理：若要使数据处理后获得的关于X的平均互信息保持不变，必须满足P(X|YZ)=P(X|Y)=P(X|Z)

信源与信道的匹配

当信道和信源连接时，若信息传输率达到了信道容量，我们则称此信源与信道达到匹配，否则认为信道有剩余，信道剩余度为C-I(X;Y)