多媒体技术

多媒体技术课程复习思维导图，教材《多媒体技术教程》人民邮电出版社

多媒体技术

• 媒体和多媒体
  • 基本概念
    • 媒体
      • 种类：视觉、听觉、触觉、其他
      • 媒体元素：文本、图形、图像、动画、视频、音频
      • 性质和特点：空间性质、时间性质
    • 多媒体：定义多样
    • 多媒体的关键特性：多样性、交互性、集成性
  • 多媒体的产生和发展
  • 主要研究内容
    • 数据压缩
    • 软硬件平台技术
    • 操作系统技术
    • 信息管理与处理
    • 通信与分布应用：网络系统
• 多媒体系统
  • 多媒体I/O设备
    • 笔输入PPT 2.3.6~2.4.2
      • 考：工作原理or给出工作环境，自选输入设备并说明理由
      • 电阻压力
      • 电磁式
      • 电容式
    • 触摸屏PPT 2.4.4~2.5.2
      • 红外
      • 电阻膜
      • 电容式
      • 表面声波
      • 压力矢量
    • 输入、输出接口书P100
      • SCSI接口：并行
      • USB：串行
        • Typer-C的特点：kbps量级
      • IEEE394: 串行
        • IEEE1394性能特点：高速性、实时性PPT 2.7.6
  • 多媒体软件系统PPT 2.8.2
  • 多媒体著作工具书P114
    • 定义
    • 标准
    • 创作模式
      • 考：书页、窗口PPT 2.8.6
      • 幻灯、层次、书页、窗口、时基、网络、图标、语言
  • 多媒体软件编程技术
    • 媒体控制接口MCI
      • 编程接口：命令-字符串接口，命令-消息接口
        • 考：PPT 2.9.6
      • 命令集：书P120
      • MCI设备
    • 多媒体API函数：与MCI有关的高级函数PPT 2.11.1
    • DirectX
    • COM：组建对象模型
• 数据压缩
  • 数据压缩技术
    • 基本概念与定义：PPT 3.1.3注意关键词
    • 数据冗余：空间、时间、信息熵、视听冗余
    • 数据编码：压缩不一定用编码，编码可以压缩、但不一定能压缩数据
    • 性能指标：压缩比、图像质量、压缩-解压速度
  • 常用编码方法
    • PPT 3.3.3会具体举例；PPT 3.3.4背常用的，应用场景
    • 预测编码（有失真）
      • DPCM：差分脉冲编码调制 P42
      • ADPCM：自适应差分脉冲调制编码（非均匀量化）
    • 统计编码（熵编码、无失真）
      • 行程编码：PPT 3.4~3.5
        • 考
      • 词典编码（LZW）：PPT 3.5.6~3.7.2
        • 考伪代码：PPT 3.6.4
      • 香农·范诺：PPT 3.7
      • Huffman编码：PPT 3.9.2
      • Arithmetic编码：PPT 3.10.1
        • 考计算
    • 变换编码（有失真）
      • 离散余弦变换编码（DCT）
      • 离散傅里叶变换（DFT）
      • WHT变换、HrT变换
    • 分析-合成编码（有失真）
      • 小波变换编码
      • 分形图像
      • 子带编码
• 通信与网络技术
  • 超媒体系统
    • 超媒体= 多媒体+超文本
    • 超媒体的组成要素：节点、链、热标（书P138～139）、宏节点
      • PPT 10.7
  • Web超媒体系统
    • 分布式超媒体系统www
      • PPT 10.14
    • 超文本传输协议HTTP
    • 超文本标记语言：HTML 书P143
      • 基本结构：PPT10.21
    • 可延伸或扩展的标记语言XML
      • PPT 10.47
      • XML非标记语言 ，用来创造标记语言 （如http）的元语言
      • 非http的替代，是它的补充
      • 不能用来直接写网页
    • 脚本语言JavaScript：基于对象、事件驱动
      • PPT10.60
    • 层叠样式表CSS
    • HTML表单
      • PPT10.79
    • 通用网关接口CGI
  • 智能超媒体系统 PPT 10.103
  • Web搜索技术
    • 搜索引擎：定义、工作流程 PPT 10.108
• 存储管理技术
  • 多媒体存储设备
    • 电存储：RAM，ROM
      • CD-ROM光存储
        • CD盘结构：PPT 8.8 ；Model格式：PPT 8.18～19
      • DVD光存储：物理结构、采用技术、区域吗
        • 对应标准 、容量：PPT 8.21 ；HD-DVD vs. 蓝光DVD PPT 8.28
    • 磁存储：硬盘
      • 工作原理：PPT 8.30
      • 逻辑结构：磁盘片 PPT 8.37
      • 性能指标：单碟容量、高速缓存、内外部数据传输率、平均访问时间（寻道+潜伏）
      • 工作模式：PPT 8.46
      • 移动硬盘、固态硬盘、闪存
  • 多媒体数据管理
    • 多媒体数据库结构 书P197
      • 联邦、集中统一、客户/服务、超媒体
    • 数据库层次 书P198
    • 数据模型
      • NF2数据模型、面向对象的数据模型（Ｐ200）
    • 用户接口：字符数值、示例、用户表现 书P204～208
• 视频处理技术
  • 模拟视频原理
    • 计算数据量
    • 帧速
    • 数据量：降低帧速、减小画面
    • 图像质量
  • 视频压缩标准
    • 压缩编码
      • 时间冗余编码
      • 空间冗余编码
      • 视觉冗余编码
    • MPEG
      • 时间冗余减少
        • 帧类型：I、P、B
        • 运动补偿：预测法、插补法书P58
      • 空间冗余减少书P60
        • 基于DCT，I帧编码类JPEG
      • MPEG的分层结构和位流
    • Ｈ.26L
    • 文件格式书P63
      • AVI
      • MOV
      • MPEG系列PPT7.35
  • 硬件：视频接口
    • 视频图像显示
    • 模拟&数字视频的信号类型
    • 视频卡书P88
  • 软件：视频编辑
• 动画处理技术
  • 二维动画
    • 传统
      • 脚本
      • 帧：关键帧、中间帧设计
      • 描线、上色
      • 检查、拍摄
      • 后期制作
    • 计算机
      • 样条驱动动画技术：设计运动曲线
      • 关键帧技术：线性插值
  • Morphing技术
  • 三维动画
    • 空间变形：FFD
    • 轴变形
    • 元球：等势面的生成
    • 过程动画技术：粒子系统
    • 群体动画&群组动画
    • 布料动画：服装设计
    • 脸部表情动画
    • 关节动画
    • 正、逆运动学&正、逆动力学方法
    • 运动捕获、重现、模糊
• 图形图像处理技术
  • 视觉媒体技术
    • 视觉特性
      • 亮度：等响曲线、掩蔽现象
      • 时间特性
      • 注意点和视野范围：左右180上下60
      • 彩色：色调、亮度、饱和度（心理属性）
    • 视觉媒体数字化-图像
      • 位图数据量
      • 图像的颜色模型
        • GRB：相加混色模型
        • CMY：相减混色模型
      • 图像的基本属性
        • 考
        • 分辨率：显示、图像
        • 像素深度：每个像素存储的位数
        • 真彩色、伪真彩色、直接色PPT5.a.25
      • 图像种类
        • 都要知道PPT 5.a.28～34
        • 矢量图、点位图&灰度图像、单色图像&彩色图像、真彩色图像
    • 视觉媒体数字化-颜色
      • 定义：PPT 5.a.75~77
      • 颜色空间：表示颜色的方法（RGB、XYZ/CIE、YUV）
      • 颜色空间的转换：PPT 5.a.84~84
    • 视觉媒体数字化-图形
      • 抽象化的图像、一组指令
      • 获取：扫描仪、绘制etc.
        • PPT 5.b.6～7
    • 3D立体显示书P29
    • 计算机图形学PPT 3.b.15
  • 图像压缩
    • 编码基本方法
      • 书P50树状图（类音频）
      • 图象相关：同页蓝字笔记
      • 基于预测的无损编码算法：熵编码（Huffman or Arithmetic）
      • 基于DCT的有损编码算法 书P52
    • 静止图像压缩标准
      • 处理静态连续色调的彩色or灰度图像
      • 颜色变换不包含于JEPG算法，JEPG算法处理单独的色彩分量图像，可压缩来自不同色彩空间的数据
      • 色度抽样：抽样率 PPT 5.c.29
  • 图像编辑与处理
• 音频处理技术
  • 听觉媒体技术
    • 考
    • 量纲
      • 频率、相位、振幅（分贝）
    • 听觉特性
      • 等响曲线
      • 掩蔽：掩蔽音对相近频率的声音影响效果最佳
      • 临界频带：书P18
    • 音频数字化、符号化
      • 数字化：声音数据量计算 书P20
        • 实际采样：44.1kHz PPT 4.16、4.18
      • 符号化：MIDI，不是数据是指令，数据量<<波形文件
      • 语音合成、识别技术
        • 语音识别系统的分类：PPT 4.76
  • 音频压缩
    • 编码基本方法 书P47
      • 大致定义、音质&数据排序
      • 波形编码：质量高、数据率高
      • 参数（模型）编码：压缩率大、保真度不高
      • 混合编码
    • 压缩标准
      • 电话：G打头，7XX（eg. G.711）
      • 调幅广播：G.722
      • 高保真立体声：MEPG
        • 🌟mp3是MPEG1，Layer3
      • 音频文件格式PPT4.44
  • 硬件：音频接口
    • 音频卡书P79
      • 处理数字化声音(Wave)合成音乐(MIDI) CD音频
    • MIDI
      • 乐器数字接口
  • 软件：音频编辑与处理书P108