信息论思维导图

信息论思维导图的思维导图，包括绪论、离散信源及其信息测度、离散信道及其信道容量、L离散信源的信源编码等方面作了非常详细的介绍。

信息论

• 绪论
  • 消息信息信号
    • 消息
      • 概念:用文字、符号、数据、语言、音符、图片、图象等能够被人们感觉器官所感知的形式把客观物质运动和主观思维活动的状态表达出来的形式就是消息。
      • 构成条件
        • 能够被通信双方所理解；
        • 可以在通信中进行传递和交换。
      • 特征
        • 不具备物理性能的随机事件；在接收消息之前，接收者不知消息的内容否则通信将失去意义
    • 信息
      • 消息所载荷（表达）的事件存在的不确定度的变化是信息信息：就是消息事件不确定度的解除量
      • 概念
        • 广义
          • 关于事物运动的状态和状态改变方式上（或发展过程中）的知识。它的作用在于消除观察者在相应认识上的不定性；它的数值则以消除不定性的大小或等效地以新增加知识的多少来度量。
        • 概率信息定义
          • 指一个随机事件发生之后，它所带给人们的新知识，或者说是对原来该事件不定度的解除量
      • 性质
        • 可扩充性、可压缩性、可替代性、可传递性、可扩散性、可共享性、有效性
    • 信号
      • 是一种具有某种特定物理性质的表达形式，即物理现象
    • 消息是信息的载体信息是消息的内涵信号是消息的物理体现
  • 信息论
    • 概念
      • 利用数学方法研究信息的度量，传递，交换和存储的一门科学
    • 研究范畴
      • 狭义信息论（Shannon信息论）也称为基本信息论，研究信息度量，信道容量，信源编码
      • 一般信息论（通信理论），研究信号与噪声理论，信号检测理论，信号传输理论，信道编码，抗干扰理论，信号处理理论
      • 广义信息论（信息科学），更广泛的研究内容。不仅包括前两种，还包括所有与信息有关的领域
  • 通信系统模型
    • 基本要求
      • ①有效性②可靠性③保密性④认证性
    • 信源
      • 解决信息的度量解决客观描述信源发送信息的能力以及如何达到最大发送能力的条件
    • 信道
      • 最大可传送（存储）信息的能力即信道容量
    • 信宿
      • 接收者究竟可以最经济地得到多少信息
    • 编/解码
      • 信源编码——解决信息传送过程的有效性信道编码——解决信息传送过程的可靠性
• 离散信源及其信息测度
  • 信源的数学模型及分类
    • 分类
      • 离散信源
        • 信源输出的都是单个符号（或代码）的消息它们符号集的取值是有限的或可数的
        • 一维离散型随机变量X来描述这些信源的输出
        • 概率空间
        • 离散平稳信源
          • 若信源输出的随机序列X=(X1,X2,XN)中，每个随机变量Xi(i=1,2,…N)都是取值离散的离散型随机变量，即每个随机变量Xi的可能取值是有限的或可数的。而且随机矢量X的各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率分布都相同
        • 离散平稳无记忆信源的扩展信源
          • 离散无记忆信源信源输出的消息序列是平稳随机序列比关切符号之间无依赖，即是统计独立的
          • N次扩展信源记为XN
            • 一般情况，若有一个离散无记忆信源X，其样本空间为{a1,a2,...,aq}，对他的输出消息序列，可以用一组组长度为N的序列来表示他。这时，他就等效成了一个新信源。新信源输出的符号是原N长的消息序列，用N为离散随机矢量来描述，写成X=（X1,X2,...,XN）,其中，每个分量Xi都是随机变量，他们都取于同一个信源X，并且分量之间相互独立，则由这个随机矢量X组成的新信源称为~
            • 信源空间
      • 连续信源
        • 输出消息的符号集A的取值是连续的或取值是实数集（－∞,∞）
        • 一维的连续型随机变量X来描述这些信源的输出。
        • 概率空间
        • 连续平稳信源
          • 若信源输出的消息可用N维随机矢量X＝(X1,X2...XN)来描述，其中每个随机分量Xi(i=1,2,…N)都是取值为连续的连续型随机变量(即Xi的可能取值是不可数的无限值）,并且满足随机矢量X的各维概率密度函数与时间起点无关也就是在任意两个不同时刻随机矢量X的各维概率密度函数都相同
    • 有记忆信源
      • 信源输出的平稳随机序列X中，各随机变量Xi之间是相互依赖的
    • 马尔可夫信源
      • m阶马尔可夫信源就是每次发出的符号只与前m个符号有关与更前面的符号无关
      • 如果上述条件概率与时间起点i无关即信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源
  • 离散信源的信息熵
    • 自信息（随机变量）
      • 若一随机事件的概率为 ,它的自信息的数学定义为
      • 信息采用的单位取决于对数所选取的底。以2为底，信息量单位称为比特（bit）；以e为底，为奈特（nat），以10为底的对数，为哈特（Hart）。
    • 条件自信息
      • 一个联合事件xy，在某一个变量x(或y)被确知之后，另一个变量y(或x)还剩下的不确定度；或者说另一个变量y(或x)将还能带给接收者多么大的信息量。
    • 信息熵（常量）
      • 定义自信息的数学期望为信源客观上的平均信息量
      • 信源的信息熵H并不等于接收者所获得的平均信息量(无干扰时相等)信息熵并不反映从信源中平均能获多少信息量，而是从平均的意义上，代表信源所客观存在着发送信息的能力。
      • 意义
        • 表示信源X输出以后，每个消息(或符号)所能提供的平均信息量
        • 表示信源X在输出以前，信源的平均不确定度
        • 表示随机变量X的随机性
        • 借用熵的含义反映信源这个消息集合中的总体特征——平均不确定度
      • 条件熵
      • 联合熵
      • 离散无记忆的扩展信源
  • 信息熵的基本性质
    • 非负性、对称性、确定性、连续性、扩展性
    • 可加性
    • 递增性
    • 极值性
      • • 任何概率分布下的信息熵一定不会大于它对其它概率分布下自信息的数学期望
      • • 最大熵定理任何离散信源，不论它取何种概率分布，所得的信息熵H(X)一定不会大于等概率分布时的信息熵(logq)。
      • 条件熵一定不会大于无条件熵
    • 上凸性
      • 只有当函数具有上凸性时，在其值域中一定存在有绝对极大值，故熵函数必然有最大值问题
  • 离散平稳信源
    • 一维平稳信源
      • 用随机矢量X=（…,X1,X2,X3,…,Xi,…）来描述信源发出的消息，其中任一变量Xi都是离散随机变量，它表示t=i时刻所发出的符号。若当t=i,t=j时（i,j是大于1的任意整数，P(xi)=P(xj)=P(x)，则序列是一维平稳的
    • 二维平稳信源
      • 如果联合概率分布P(xixi+1)也与时间起点无关，即
        • P(xixi+1)=P(xjxj+1) (i,j为任意整数且i¹j)
    • 如果各维联合概率分布均与时间起点无关那么，信源是完全平稳的，信源发出的序列也是完全平稳的这种各维联合概率分布均与时间起点无关的完全平稳信源称为离散平稳信源
    • 二维离散平稳有记忆信源的信源熵
      • X1X2的联合熵
        • 二维离散平稳有记忆信源每发一个消息所能提供的平均信息量是一种联合熵，这种信源的熵等于第一个随机变量的熵加上第一变量已知的条件下第二个变量的条件熵
        • X1X2相互独立
      • 离散平稳有记忆信源的极限熵
    • 性质
  • 马尔可夫信源
    • 马尔可夫链
      • 如果一个随机序列{X(t),t=1,2,3,…}取值于正整数空间I={0,1,2,……},或者为I的子集，而且有： P{ X(1)=x1,X(2)=x2,……,X(t)=xt}>0;P{X(t+1)=xt+1|X(1)=x1,X(2)=x2,……,X(t)=xt}=P{X(t+1)=xt+1|X(t)=xt} xi∈I={0,1,2,……} ; i=1,2,…
        • 则称为序列{X(t)}为马尔可夫(Markov)链，I中的元素组合称为随机序列的状态S。这种序列具有马尔可夫性，也叫无后效性
      • 一步转移概率
        • 一步转移概率为Pij；k步转移概率为P(k)ij；这种马尔可夫链称为齐次马尔可夫链
        • 一步转移概率矩阵
    • 各态历经（遍历）定理
      • 满足这个定理的马尔可夫链的极限概率就是各状态的稳态概率
      • 已知一步转移矩阵，则稳态概率：
      • 状态转移图
    • 马尔可夫信源
      • m阶马尔可夫信源
        • 如果一个离散有记忆信源X=X1，X2，…,Xm,Xm+1,Xm+2,……中，任一时刻(m+1)的随机变量Xm+1只依赖于它前面的m个随机变量，与更前面的变量无关，称为记忆长度为m的离散有记忆信源，也称为m阶马尔可夫信源
      • 马尔可夫信源状态
        • 把(X1,X2,…Xm)某一个取值Si=(ak1,ak2,……akm) 称为一个状态。
      • 马尔可夫信源一步转移概率
      • m阶马尔可夫信源的极限熵
  • 信源的剩余度
    • 相对熵
    • 内熵(信息熵差)
    • 用来衡量由于信源内部的消息状态的相关性和分布性使其熵减少的程度称为剩余度E(理论值符号)
• 离散信道及其信道容量
  • 信道：传输信息的载体，其任务是以信号方式传输信息、存储信息
  • 分类
    • 用户
      • 单用户（两端）信道
      • 多用户（多端）信道
    • 输入端和输出端关联
      • 无反馈信道
      • 有反馈信道
    • 信道统计特性
      • 固定参数信道
      • 时变参数信道
    • 输入和输出信号统计特性
      • 离散信道
      • 连续信道
      • 半离散或半连续信道
      • 波形信道
  • 离散信道的数学模型
    • 三个参数
      • 输入符号集：A={a1,a2,….ar}
      • 输出符号集：B={b1,b2,….bs}
      • 信道转移概率：
    • 三种描述方法
      • 概率空间
      • 转移矩阵
      • 图示法
    • 两种信道
      • 二元对称信道（BSC）
      • 二元删除信道(BEC)
    • X与Y的关系
      • 联合概率
      •  bj的概率
      • 后验概率
  • 平均互信息及平均条件互信息
    • 互信息
      • 信息传输的根本问题是，对于给定的信道计算收到一个bj后，从bj中获取关于ai的信息量。这个信息量称为互信息，记为I(ai;bj)=I(x;y))
      • I(x;y))={接收bj前接收者对ai存在的不确定度}-{接收bj后接收者对ai仍存在的不确定度}=通信前后接收者对ai不确定度的变化量（减少量）=I(ai)-I(ai|bj)
    • 平均互信息
      • 给出了信道传输一个信源符号所传递的平均信息量，对于给定的信道和信源平均互信息是一个确定的量
      • 实际上就是接收者收到一个符号通过信道从信源所获得的平均信息量，因此也称为平均接收信息量
      • 描述平均互信息
        • 疑义度（损失熵）H(X|Y)表示信源符号通过有噪信道传输后所引起的信息量的损失 I(X;Y)=H(X)-H(X|Y)
        • 扩散度（噪声熵，散布度）H(Y|X)表示在已知X的条件下，对于Y尚存的不确定性；反映了信道中噪声源的不确定性I(X;Y)=H(Y)-H(Y|X)
        • 联合熵（共熵）H(XY) I(X;Y)=H(X)+H(Y)-H(XY) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)
        • 疑义度和噪声熵都是由于信道噪声引起的当信道转移概率是一一对应的确定关系时，疑义度和噪声熵等于0
      • 特性
        • 非负性
          • I(X;Y) ≥0
        • 对称性
          • I(X;Y)=I(Y;X)
        • 极值性
          • I(X;Y) ≤ H(X)
        • 凸函数性
          • 当信道一定时，平均互信息是信源先验概率的上凸函数
          • 当信源一定时，平均互信息是信道转移概率的下凸函数
      • 几种信道
        • 扩展信道
          • 一个X产生多个Y
        • 扩展性无损信道
          • 扩展信道中若[P]中每列只有一个非0元素，H(X|Y)=0，即疑义度=0称为扩展性无损信道，否则称为扩展有损信道
        • 归并信道
          • 多个X产生一个Y
        • 归并性无噪声信道
          • 归并信道中若[P]中元素为0或1，H(Y|X)=0，即噪声熵=0称为归并性无噪声信道，否则称为归并噪声信道
    • 平均条件互信息
      • • 定义在已知事件z属于Z的条件下接收到y后获得关于某事件x的条件互信息：
        • 当已知y属于Y,z属于Z后总共获得关于xÎX的互信息
      • • 平均条件互信息定义
  • 离散信道的信道容量
    • 熵速率
      • 平均互信息I(X;Y)是信道{X,P(Y|X),Y}输出一个符号传输的信息量，当符号速率为n符号/秒时，其熵速率为：R=nI(X;Y)=n[H(X)-H(X|Y)]=n[H(Y)-H(Y|X)]bit/s
      • 无噪声信道：R=nI(X;Y)=nH(X)bit/s
      • 参数n与信道和信源无关,分析时：R=I(X;Y)=[H(X)-H(X|Y)]=[H(Y)-H(Y|X)]bit/符号
    • 信道容量
      • 信道容量是在给定信道条件下（即一定的信道转移概率），对于所有可能的信源先验概率的最大熵速率反映了信道本身的传信能力
      • 符号速率为n符号/秒时：
      • 几种信道的信道容量
        • 具有一一对应关系的无损无噪声信道
          • r是输入信源符号集个数
        • 具有扩展性的无损信道
          • 具有扩展性的无损信道的信道容量等于信源的最大熵
        • 具有归并性的无噪声信道
          • 当随机变量Y为等概分布时，才能达到这个信道容量
        • 强对称离散信道
          • 只有当信源等概分布时，才能使其达到信道容量C
          • H(X)=H(Y)=logr
          • H(Y|X)=H(X|Y)
        • 对称信道
          • 强对称信道要求r=s，对称信道不要求；强对称信道每行之和及每列之和都等于1，对称信道每行之和等于1，而每列之和不一定等于1；强对称信道的矩阵为对称矩阵，对称信道的矩阵不一定是对称矩阵
          • 如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的并且每一列也是由这一组元素组成的，则称为对称信道
        • 准对称信道
          • 如果信道矩阵Q的列可划分成若干个互不相交的子集Bk，即由Bk为列组成的矩阵Qk是对称矩阵，则称信道矩阵Q所对应的信道为准对称信道
      • 独立并联信道
        • 独立并联信道指两个以上的单符号信道相互并联组合的情况，仅指各个子信道的转移概率相互独立的场合
        • 独立并联信道的信道容量不大于各个信道的信道容量之和。最佳输入分布是输入符号Xi相互独立，且各自达到最佳分布，此时独立并联信道的信道容量才等于各信道容量之和
      • 串联信道
        • 串接无源数据处理信道越多，其信道容量可能会越小，当信道数无限大时，容量就可能趋于零
  • 信源与信道的匹配
    • 当信源与信道连接时，若信息传输率(发送速率)达到了信道容量，我们则称为此信源与信道达到匹配
    • 香农无失真信源编码理论就是使新信源的符号接近等概分布，新信源的熵接近最大熵logr，这样，信道传输的信息量达到最大，信道剩余度接近于零实际场合要根据需求来制定系统性能指标，但必须保证：R不能大于CT，否则不 论采用何种编码措施，信息一定出现丢失(误码)
• 无失真信源编码
  • 编码
    • 编码的定义
      • 编码即信号的变换，或信号形式的变换
    • 编码的目的
      • 有效性—信源编码
        • 亦称压缩编码,所谓信源编码是指在无失真，或在有失真的条件下如何利用尽可能少的符号来表述信源发出的消息这种编码在于压缩信息的冗余度
        • 分类
          • 无失真信源编码
            • 可逆性编码，即编码后的码字序列再经解码处理后，可无失真地恢复出原来的消息或消息序列。无失真信源编码仅适用离散信源。
          • 限失真信源编码
            • 不能构成可逆编码，即编码后的码字序列经解码(反变换)处理后，所恢复的消息序列与发端的原消息序列存在有一定的失真。适合于连续信源模拟信号的编码
      • 可靠性—信道编码
        • 亦称纠错编码，主要是解决如何充分地利用信道的能力来可靠地传输信息这种增加信道中抗干扰能力的编码称为信道编码这种编码充分利用原有冗余度和进一步扩展冗余度牺牲传输的有效性为代价来提高传输的可靠性
      • 安全性—密码
        • 为了解决信息传输过程中的安全性问题
      • 经济性—调制与复用
        • 是指为了充分利用信道，进一步提高通信系统的通信能力和降低通信成本而采用的编码技术
  • 离散信源的信源编码
    • 编码原因一些原始信源的符号不适应信道的传输；原始信源符号的传输效率很低
    • 码的类型
      • r元码
        • 码符号集中符号数r=2称为二元码，r=3称为三元码
      • 等长码和变长码
        • 若分组码中所有码字码长都相同则称为等长码，否则称为变长码
      • 奇异码和非奇异码
        • 若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码
      • 唯一可译码
        • 任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码
        • 唯一可译码定理
        • 判断法
          • 首先观察是否是非奇异码.若是奇异码,肯定不是唯一可译码
          • 其次,计算是否满足Kraft不等式.若不满足一定不是唯一可译码;
          • 然后将码画成一棵树图,观察是否满足异前置码的树图的构造,若满足则是唯一可译码.
      • 即时码和延长码
        • 如果一个码组中的任一个码字都不是另一个码字的续长，或者说，任何一个码字后加上若干码元后都不是码组中另一个码字，则称为即时码（非延长码），否则称为延长码
        • 即时码一定是唯一可译码，唯一可译码却不一定是即时码
        • 用码树图构成即时码
          • 从根开始，画出r条分支，任选一个分支作为W1
          • 在另一个分支上再分出r条分支，任选一个分支作为W2
          • 继续进行，直至结束，从根到各端点，所经过的状态即为码字
  • 等长编码定理
    • • 当N足够大时，可实现无限小失真编码；反之，上式不满足编码一定失真，而且当N足够大时，译码错误概率近似等于1
    • • 左边表示长为l的码符号序列能载荷的最大信息量右边代表长为N的信源序列携带的信息量
    • 等长编码定理告诉我们：只要码字传输的信息量大于信源序列携带的信息量，总可实现几乎无失真编码
    • 编码效果的衡量
  • 变长编码
    • 平均码长
    • 每个信道码元所携带的平均信息量R
    • 平均码长极限定理
    • 无失真变长编码定理Shannon第一编码定理（信源编码定理，有效性编码定理）
      • • 记忆长度越长，平均码长的下界就越小
      • 比较定理一和定理二，有记忆信源的平均码长的下界将小于无记忆信源的平均码长的下界
      • 定理一和定理二说明：可以用信源扩展的方法，达到数据压缩的目的，扩展程度越高，编码效率越高
      • [定理三]：设信源S的熵为H(S)，无噪声离散信道的信道容量为C。则总可以找到一种编码方法，使信道上的信源符号平均传输速率为[C/H(S)-ε]。其中ε可以是任意小的正数。要使符号平均传输速率大于C/H(S)是不可能的。
      • 唯一可译码的信道码元符号在离散无噪声信道上的熵速率（传信率）相应有一个上界
      • 物理意义
        • 无失真信源编码的实质就是对离散信源进行适当的变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的传输率R达到信道容量C，实现信源与信道理想的统计匹配
    • 变长编码
      • Shannon编码思想
        • 由于概率的不均匀，使编码效率下降，因此，可以根据消息状态的概率来确定各码字的编码长度，概率大的编成短码，概率小的编成长码
        • 这种方法对于多数情况下是不能实现最佳码的，而且编码效率比较低
      • Shannon-Fano算法（改进）
      • Huffman算法（二元）
        • 将信源S的q个符号状态{s1,s2,…sq}按概率从大到小排列，作为码树图的叶；
        • 将概率最小的两个符号分别分配给“0”和“1”码元，然后其概率相加，合成一个节点，作为一个新的符号，重新与其它符号按概率大小排列
        • 重复这样的步骤，一直到处理完全部状态；
        • 从右到左将分配的码元排列后即得相应得编码
        • 1.在编码过程中“0”和“1”的分配是任意的，但应保持整个编码过程中的一致；得到的两种码平均码长是一样的2.如果完成一次的信源缩减后得到的新符号的概率与原始信源符号的概率相等时，最好将其排列在原始信源符号的前面，虽然平均码长仍然相同，但平均码长的方差比较小，对实际应用有好处。
  • 信源编码的方法
    • 信源编码的目的是提高编码效率，信源编码的方法基本分为两种：信源状态独立化和概率均匀化
    • 弱记忆信源的独立化方法就是信源扩展
    • 强记忆信源的独立化方法是预测编码例如语音压缩技术，图象压缩编码等
    • 概率均匀化包括很多实用编码技术，例如Huffman编码。
• 连续信源熵与信道容量
  • 连续信源的熵
    • • 连续信源熵具有相对性，通常我们称之为差熵其值为绝对熵减去一个无穷大量
      • 连续信源有无穷多个状态，因此根据Shannon熵的定义必然为无穷大
      • 连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的，而信息量是无限的
      • 连续信源熵不具有非负性，可以为负值
    • 两个连续变量X、Y的联合熵和条件熵
    • 平均交互信息量
    • 几种连续信源的熵
      • 均匀分布
        • 子主题
        • 当(b-a)<1时，h(X)<0，即h(X)不具有熵函数的非负性，因为h(X)是相对熵，相对熵可以为负值，但绝对熵仍然为正值
      • 高斯分布
      • 指数分布
    • 连续信源的差熵性质
      • 可加性
      • 凸状性和极值性
        • 连续信源的差熵 h(X)是输入概率密度函数 p(x) 的∩型凸函数
      • 差熵可为负值
      • 变换性
        • 连续信源输出的随机变量X通过确定的一一对应变换到连续随机变量 Y，其差熵会发生变化
        • 通过处理网络（变换器）后，处理网络输出信源的熵等于其输入信源的熵减去雅可比行列式对数的统计平均值
      • 极值性（即最大差熵定理）
        • 连续信源的差熵存在最大值。但与离散信源不同，在不同的限制条件下，信源呈现不同的最大差熵。
  • 连续信源的最大熵
    • 输出幅度受限时的最大熵（瞬时功率受限）
    • 输出平均功率受限时的最大熵
      • 是一个均值为0的高斯分布
      • 最大熵定理
        • 对于输出平均功率受限的连续信源，在假设状态相互独立时，当其概率密度函数为高斯分布时，具有最大熵。其最大熵值随功率P的增加而增加
    • N维平稳信源最大熵定理
      • 对于N维平稳信源，当其输出的N维协方差矩阵C受限时，N维高斯信源的熵最大，最大值为1/2 log(2pe)N|C|.如果N维随机序列的各分量Xi彼此统计独立，并各自达到正态分布时的熵最大，也就是N维无记忆高斯信源的熵最大，最大值为1/2log(2pe)N(s12s22…sN2)
  • 连续信源的熵功率
    • 熵功率
      • 熵功率则用来描述连续信源熵的剩余度
      • 对于平均功率也为P的非高斯分布信号，设其熵为 h，称熵也为h的高斯信源的平均功率为熵功率：
      • 由于当平均功率受限时一般信源的熵总不大于高斯分布信源的熵，所以信号的熵功率总不大于信号的实际平均功率
    • 几点结论
      • 一个平均功率为P的非高斯分布的连续信源的熵功率等于与其有同样熵的高斯信源的平均功率
      • 当非高斯连续信源与高斯信源具有相同熵时，那非高斯信源的平均功率一定大于高斯信源的功率
      • 当非高斯连续信源与高斯信源具有相同平均功率时，那非高斯信源的熵一定小于高斯信源的熵
      • 对于平均功率受限的连续信源，当信源为高斯分布时有最大熵，如果概率分布不是高斯分布，则信源熵将小于最大熵
      • 已知当信号的平均功率被限定为P 时，高斯分布信源的熵最大，其值为：
      • 连续信源的熵率ht=2Fh，F是信号的最高频率或带宽，则：
    • 剩余度
      • 熵功率可以表示连续信源冗余的大小。如果熵功率等于信号平均功率，表示信源没有冗余。熵功率和信号的平均功率相差越大，说明信源的冗余越大。其差称为连续信源的冗余度
      • 高斯噪声信源
        • 只有高斯分布的信源其熵功率等于实际平均功率，信源冗余度为0
  • 连续有噪声信道的信道容量
    • 平均交互信息量
      • I(X;Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)
        • 平均交互信息量为非负值当X，Y相互独立时p(xy)=p(x)p(y)，I(X;Y)=0同时有：I(X;Y)=I(Y;X)
      • 对于连续信道的平均互信息来说，关系式和离散信道下平均互信息的关系式完全类似，而且保留了离散信道平均互信息的含义和性质。只是表达式中用连续信源的差熵代替了离散信源的熵。
      • 特性
        • 非负性、对称性、凸状性
        • 信息不增性
          • 设连续信道输入变量为X，输出变量为Y。若对Y在进行处理变成另一个随机变量Z，则一般总会丢失信息，最多保持原来获得的信息不变，而所获得的信息不会增加
          • 其中z=f(y)。当且仅当该函数是一一对应时，等号成立。
    • 基本连续信道的信息传输率
    • 多维连续信道的信息传输率
    • 基本加性连续信道
    • 加性多维连续信道中
    • 波形信道来说都是研究其单位时间内的信息传输率
    • 熵速率与信道容量
      • 熵速率
        • R=h(X)-h(X|Y)=h(Y)-h(n)
        • 在连续有噪声信道上，接收熵速率等于接收的总信息速率h(Y)减去噪声信息速率h(n)。
      • 信道容量
        • 最大的接收熵速率
        • 当考虑到随机变量X的符号速率为r时：
        • 已知X与n相互独立，则h(n)与p(x)无关
        • 限带高斯白噪声加性波形信道的信道容量 (香农公式)
          • • N为平均功率W为信道带宽
          • 平均功率一定的高斯信道，其信道容量C与信号带宽W和信号噪声功率比有关
          • 平均功率一定的高斯信道，当信源信号为高斯分布时，信道熵速率等于信道容量
          • 对于连续信源来说，高斯白噪声信道危害最大，因为h(n)大使熵速率R减小
          • • C与W成正比。带宽越宽，信道所允许传输的信息就越多；但当W→∞时，则C本身将不在提高了，非常接近一常量。可见仅靠采用扩展带宽的方法来提高信道容量当达一定程度后就行不通了
            • 如果给定W，则C与信噪比P/N成正比
            • 当输入信噪比远远地小于1时，则C不为零；这说明此刻信道仍具有传输信息的能力。即对于弱信号而言，也同样有通信的可能性。比如人类可以从火星以外的空间收回飞船发出的信息
            • 在信道容量C保持不变的条件下信道带宽W，传输时间T和输入信噪比P/N之间，可以互换
              • 当信噪比P/N一定时,时间与带宽互换这说明扩展带宽可以缩短传输时间，而延长时间就可以降低带宽要求
              • 当传输时间T一定时，带宽与信噪比互换；即，在同样的时间内，如果扩展带宽，就可以降低对信道信噪比的要求；而当压缩带宽时，则意味着必须提高信噪比。显然对于干扰严重的信道，在保证同样的传信率要求下，则应该需要比较宽的信道传输
              • 当带宽W一定时，时间与信噪比互换
            • 在加性信道的条件下，白色高斯噪声是危害最大的干扰噪声。因此对于那些不是白色高斯噪声信道来说，其信道容量一定要大于Shannon公式所给出的结果
            • 香农极限
              • • 当信道频带宽度不受限制时，实现 极限信息传输率所需最低的信噪比是−1.6dB
• 信息率失真函数R(D)
  • R(D)基本概念与定义
    • R(D)
      • 在不同类型信源和信宿的各种允许失真的最大限度D的条件下信源所必须传送的最小信息率R，称为信息率失真函数
      • R(D)指了解信宿与信源之间的某种需求并且体现与信道无关的客观描述求某种条件下互信息的极小值问题
      • H(X)仅反映信源本身含有信息的度量和它发送信息的能力
      • C是反映当给定信道后与某种信源处于最佳匹配时的最大信息传输量问题求某种条件下互信息的最大值问题
    • 失真度
      • d(ui,vj)称为单个符号的失真度，用它来测度信源发出一个符号ui，而在接收端再现接收符号集中的符号vj所引起的误差或失真。通常较小的d值代表较小的失真
      • • 表示：①i=j时，用V代表U无失真，所以dij=0 ②i≠j时，用V代表U有失真，用一个正值代表失真的大小
      • 三种表示方法
        • 矩阵
        • 图示
        • 数值
      • 平均失真
        • 失真函数的统计平均值衡量整个信源与信宿的总体失真关系
        • 离散无记忆平稳信源通过无记忆试验信道其信源序列的平均失真度等于单个符号平均失真度的N倍
        • 保真度准则
    • 信息率失真函数R(D)
      • 试验信道
        • 信源与信宿之间的无失真信道
      • 意义
        • 是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性
  • R(D)函数的性质
    • 率失真函数的定义域
      • 在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题
      • 信源最小平均失真度Dmin
        • 对于每一个ui，找出一个vj与之对应，使d(ui,vj)最小，不同的ui对应的最小d(ui,vj)也不同。这相当于在失真矩阵的每一行找出一个最小的d(ui,vj)，各行的最小d(ui,vj)值都不同。对所有这些不同的最小值求数学期望，就是信源的最小平均失真度
      • 信源最大平均失真度Dmax
        • 当R(D)等于0时，对应的平均失真的下界
    • R(D)是允许失真度D的下凸函数
    • R(D)是Ｄ的单调非增函数
    • R(D)是Ｄ的连续函数
  • 离散信源率失真函数的计算
    • 离散对称信源R(D)函数
  • 高斯信源的率失真函数
  • Shannon’s编码定理体系