信息论思维导图

电子信息类专业本科专业基础课《信息论基础》课程内容思维导图。信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

信息论基础

• 基本概念 信息的统计度量
  • 事件
    • 自信息量
      • 自信息量
      • 条件自信息量
    • 互信息量
      • 互信息量
      • 条件互信息量
    • 概念 物理意义 性质
  • 离散随机变量集合
    • 平均自信息量
      • 平均自信息量
        • 熵
        • 最大熵定理
        • 性质
          • 上凸性
          • 非负性
          • 对称性
          • 扩展性
      • 联合熵
      • 条件熵
      • 各种熵的关系
      • 加权熵
    • 平均互信息量
      • 概念
      • 性质
        • 互易（对称）性
        • 极值性
        • 非负性
        • 凸函数性
      • 平均互信息量与各类熵的关系
  • 连续随机变量集合
    • 互信息量
    • 熵
    • 共熵
    • 条件熵
• 信源
  • 离散信源
    • 信源的数学模型及其分类
    • 信源的信息量的计算
      • 简单离散无记忆信源
      • 离散无记忆扩展信源
      • 离散平稳信源
      • 马尔可夫信源
        • 有限状态马尔可夫链
          • 初始分布
          • 状态转移
          • 平稳分布
        • 马尔可夫信源
          • 一阶
          • 二阶
    • 信源的优劣评价
  • 无失真信源编码
    • 编码器
      • 码的分类
    • 分组码
      • 奇异性
      • 唯一可译性
      • 即时性
    • 定长编码
      • 典型序列
      • 定长编码定理
    • 变长编码
      • Kraft-McMillan不等式
      • 唯一可译码判别准则
      • 变长编码定理
      • 香农编码
      • 霍夫曼编码
      • 费诺编码
      • 变长编码方法
• 信道
  • 离散信道
    • 信道模型
      • 分类
      • 构建（描述）
    • 单符号离散无记忆信道
    • 离散无记忆扩展信道
    • 信道的组合
      • 独立并联信道
      • 和信道
      • 级联信道
    • 平均互信息量
    • 信道容量
      • 确定信道
      • 广义对称信道
      • 一般离散信道
      • 扩展与组合信道
      • 信道容量计算
      • 信源与信道匹配
        • 使信道发挥最大能力
  • 有噪信道编码
    • 信道译码问题
      • 译码规则
      • 错误概率
      • 最佳译码规则
        • 极大似然译码准则
        • 最大后验概率准则
        • 最小汉明距离准则
    • 信道编码方法
      • 简单重复编码
      • (n,k)线性码
    • 有噪信道编码定理
    • 错误概率上界
      • 费诺不等式
• 绪论
  • 信息论的诞生
    • 通信系统模型
    • 通信系统的特点
      • 形式化假说
      • 非决定论
      • 不确定性
    • 三大定理
      • 第一定理
        • 信源编码定理
      • 第二定理
        • 有噪信道编码定理
      • 第三定理
        • 限失真信源编码定理
  • 信息的基本概念
    • 广义
    • 通俗
    • 香农定义
    • 三大概念
      • 信息
      • 消息
      • 信号
  • 信息论的应用