信息论

电子信息工程专业，信息论基础绪论，包含信息的概念、信息论研究的对象、目的和内容、信息论的发展简史和信息科学等。

信息论基础

• 1·1 信息的概念
  • 问题一：什么是信息论
    • 通信的数学理论，包括概率论、随机过程和数理统计，主要研究传输、存储与处理。
  • 问题二：信息的概念
    • 1.信息的通俗概念：信息就是消息（通俗但不准确）（1）同一消息，含有的信息量不同；（2）同一信息采用不同的消息来表达。结论：消息不等于信息。
    • 2.信息的广义概念：信息就是差别 消息->客体（信息的载体）客体的差别->信息
    • 3.概率信息-狭义概念：信息是事物运动状态或存在方式的不确定性描述。 信息在数量上等于通信前后“不确定性“的消除量。 用概率来度量：概率大->不确定性小->信息量小；概率小->不确定性大->信息量大。
      • （1）样本空间：所有可能选择的信息的集合 （2）概率测度：概率，总和为1 （3）概率空间：一个样本空间与其概率测度 （4）自信息量:I(xi)=log 1/p(xi)=-log p(xi) （5）互信息量:I(xi;yi)=log p(xi|yi)/p(xi)=log 1/p(xi)-log1/p(xi|yi)
      • 香农信息量定义优点：科学定义，明确的数学模型和定量计算。与日常用语的信息含义一致。 缺点：合适的概率模型很难找到。只考虑概率没考虑其他因素。没有考虑主观性。
    • 信息的广义定义
      • 信息就是事物运动的状态和方式
      • 物质、能量、信息是构成客观世界的三大要素
      • 信息是物质的属性，信息离不开物质，但不是物质
  • 问题三：信息的特征
    • 信息是无形的，不具有实体性
    • 信息是可共享的
    • 信息是无限的
    • 信息是可度量的
  • 问题四：信息、消息、信号三者关系
    • 通信中对信息的表达分为三个层次：信号、消息、信息。
    • 信号：消息变换成适合信道传输的物理量
      • 是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。
    • 消息：是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。
    • 信息：是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。
    • 是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。
• 1·2 信息论研究的对象、目的和内容
  • 信息论的研究对象
    • （1）通信系统基本模型
    • （2）通信系统实际模型
  • 信息论的研究目的
    • 找到信息传输过程共同规律，以提高信息传输的可靠性、有效性、保密性、认证性，使信息系统最优化。
    • 可靠性高：使信源发出的信息尽可能准确的、不失真的再现接收端。
    • 有效性高：经济效果好，尽可能短时间和尽可能少的设备来传送一定数量信息。
    • 保密性：隐蔽和保护通信系统中传送的信息，是它只能被授权接收者获取。
    • 认证性：接收者能正确判断所接受的信息的正确性及完整性。
  • 信息论的研究内容
    • （1）狭义信息论-香农信息理论（信源到信宿全过程，重点在编码）
    • （2）一般信息论-研究信息传输和处理（接收端恢复再现提取）
    • （3）广义信息论：与信息有关的自然科学和社会科学
• 1·3 信息论的发展简史和信息科学
  • 1924年奈奎斯特( H.Nyquist )证明了信号传输速率与信道带宽成正比这一事实。
  • 1928年哈特莱（R.V.Armstrong）引入了非统计信息量的概念，信息量等于可能消息数的对数。
  • 1948年香农（ C.E.Shannon）发表《通信的数学理论》为信息论奠定了理论基础，信息论从此诞生。
  • 1959年香农(C.E.Shannon)发表了 “ 保真度准则下的离散信源编码定理” 论文，系统地提出了信息率失真理论。
  • 1961年香农(C.E.Shannon)发表了 “ 双路通信信道” 论文，开拓了多用户通信理论的研究。
  • 人物：钟义信、香农