导图社区零声教育音视频流媒体高级开发课程第五代大纲

零声教育音视频流媒体高级开发课程第五代大纲

音视频流媒体高级开发课程第五代大纲的思维导图，包含01. 如何采集声音-模数转换原理；02. 为什么高品质音频采样率>=44.1Khz；03. 什么是PCM；04. 一个采样点用多少位表示。

提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材，使用前请自行确认授权范围。

编辑于2022-04-14 15:34:41

音视频
流媒体
RTMP
WebRTC

零声教育 Darren

他的近期作品查看更多>>

零声教育音视频流媒体高级开发课程第五代大纲

社区模板帮助中心，点此进入>>

零声教育 Darren

他的近期作品查看更多>>

相似推荐
大纲

电影院包场服务流程
- 6.9k
- 1
- 35
- 3
- 0
蔡正兆(Joe Choi)
暮尚正常运转导图
- 11.6k
- 903
- 45
- 1
- 0
宋林鉴
培训计划思维导图
- 11.9k
- 692
- 138
- 0
- 0
绿叶
车队管理
- 9.5k
- 12
- 78
- 4
- 0
嘻嘻哈哈
七夕活动策划
- 7.0k
- 190
- 67
- 0
- 0
(*^▽^*)
《乌合之众》
- 5.7k
- 124
- 176
- 15
- 0
(*^▽^*)
供应链类型
- 7.0k
- 285
- 57
- 4
- 0
(*^▽^*)
供应链管理平台
- 9.4k
- 482
- 113
- 0
- 0
(*^▽^*)
品牌设计分析思维导图
- 8.5k
- 349
- 180
- 4
- 0
(*^▽^*)
品牌定位思维导图
- 6.2k
- 415
- 189
- 14
- 0
(*^▽^*)

音视频流媒体高级开发课程V5.0

音视频基础

1.1 音频基础知识

01. 如何采集声音-模数转换原理

02. 为什么高品质音频采样率>=44.1Khz

03. 什么是PCM

04. 一个采样点用多少位表示

05. 采样值用整数还是浮点数表示

06. 音量大小和采样值大关系

07. 多少个采样点作为一帧数据

08. 左右通道的采样数据如何排列

09. 什么是PCM（脉冲编码调制）

10. 音频编码原理

1.2 视频基础知识

01. RGB彩色原理

02. 为什么需要YUV格式

03. 什么是像素

04. 分辨率、帧率、码率

05. YUV数据存储格式区别

06. YUV内存对齐问题

07. 为什么画面显示绿屏

08. H264编码原理

09. H264 I P B帧的关系

1.3 解复用基础知识

01. 什么是解复用，比如MP4格式

02. 为什么需要不同的复用格式MP4/FLV/TS

03. 常见的复用格式MP4/FLV/TS

1.4 FFmpeg开发环境搭建

01. Windows、Ubuntu、MAC三大平台

02. QT安装

03. FFmpeg命令行环境

04. FFmpeg API环境

05. FFmpeg编译

06. vs2019安装（win平台）

1.5 音视频开发常用工具

01. MediaInfo，分析视频文件

02. VLC播放器，播放测试

03. EasyICE，分析TS流

04. flvAnalyser，分析FLV

05. mp4box，分析mp4

06. audacity，分析音频PCM

07. Elecard_streamEye，分析H264

08. 海康YUVPlayer，分析YUV

FFmpeg实战

2.1 FFmpeg命令

01. 音频PCM/AAC文件提取

02. 视频YUV/H264文件提取

03. 解复用、复用

04. 音视频录制

05. 视频裁剪和合并

06. 图片/视频转换

07. 直播推流和拉流

08. 水印/画中画/九宫格滤镜

注：掌握FFmpeg的目的： 1.快速掌握FFmpeg能做什么； 2.加深对音视频的理解。

2.2 SDL跨平台多媒体开发库实战

01. SDL环境搭建

02. SDL事件处理

03. SDL线程处理

04. 视频YUV画面渲染

05. 音频PCM声音输出

注：SDL兼容Win、Ubuntu、Mac三大平台，主要用于后续项目的画面显示和声音输出

2.3 FFmpeg基石精讲

01. FFmpeg框架

02. FFmpeg内存引用计数模型

03. 解复用相关AVFormat XXX等

04. 编解码相关AVCodec XXX等

05. 压缩数据AVPacket

06. 未压缩数据AVFrame

07. FFmpeg面向对象思想

08. Packet/Frame数据零拷贝

注：目的熟悉FFmpeg常用结构体和函数接口

2.4 FFmpeg音视频解复用+解码

01. 解复用流程

02. 音频解码流程

03. 视频解码流程

04. FLV封装格式分析

05. MP4封装格式分析

06. FLV和MP4 seek有什么区别

07. 为什么FLV格式能用于直播

08. 为什么MP4不能用于直播

09. MP4能否用来做点播

10. AAC ADTS分析

11. H264 NALU分析

12. AVIO内存输入模式

13. 音频重采样实战

14. 重采样后的数据播放时长是否一致

15. 重采样后PTS如何表示

16. 视频解码后YUV内存对齐问题

17. 音频解码后PCM排列格式问题

18. 硬件解码dxva2/nvdec/cuvid/qsv

19. 硬件gpu数据转移到cpu

20. H265解码

注：FFmpeg API学习：视频解复用 -> 解码 -> 编码 -> 复用合成视频

2.5 FFmpeg音视频编码+复用合成视频

01. AAC音频编码

02. H264视频编码

03. PCM+YUV复用合成MP4/FLV

04. H264编码原理

05. IDR帧和I帧区别

06. 动态修改编码码率

07. GOP间隔参考值

08. 复用合成MP4音视频不同步问题

09. 编码、复用timebase问题

10. MP4合成IOS不能播放问题

11. 重采样后PTS如何表示

12. 视频编码YUV内存对齐问题

13. 硬件编码dxva2/nvenc/cuvid/qsv

14. H265编码原理

15. H264、H265编码互转

2.6 FFmpeg过滤器

01. FFmpeg过滤chain框架

02. 音频过滤器框架

03. 视频过滤器框架

04. 多路音频混音amix

05. 视频水印watermark

06. 视频区域裁剪和翻转

07. 视频添加logo

注： filter在视频剪辑领域应用广泛。

2.7 ffplay播放器

01. 掌握ffplay.c的意义

02. ffplay框架分析

03. 解复用线程

04. 音频解码线程

05. 视频解码线程

06. 声音输出回调

07. 画面渲染时间间隔

08. 音频重采样

09. 画面尺寸格式变换

10. 音频、视频、外部时钟同步区别

11. 以视频为基准时音频重采样补偿

12. 音量静音、调节大小的本质

13. 音视频packet队列大小限制

14. 音视频packet队列线程安全

15. 音视频frame队列大小限制

16. 音视频frame队列线程安全

17. 暂停、播放实现机制

18. seek播放导致的画面卡住问题

19. seek播放数据队列、同步时钟处理

20. 如何做到逐帧播放

21. 播放器退出的流程要点

注： ffplay.c是ffplay命令的源码，掌握ffplay 对于我们自己开发播放器有事半功倍的效果。

2.8 ffmpeg多媒体视频处理工具

01. 掌握ffmpeg.c的意义

02. ffmpeg框架分析

03. 音视频编码

04. 封装格式转换

05. 提取音频

06. 提取视频

07. logo叠加

08. 音视频文件拼接

09. filter机制

10. 命令行解析流程

11. MP4转FLV不重新编码逻辑

12. MP4转FLV重新编码逻辑

13. MP4转FLV timebase

14. MP4转FLV scale

注： ffmpeg.c是ffmpeg命令的源码，掌握ffmpeg.c 的大体框架对于我们要实现一些不知道怎么编写代码的功能（用ffmepg命令行可以但不知道怎么调用 ffmpeg api时可以参考ffmepg.c的逻辑）有极大的帮助，比如要裁剪视频长度。

2.9 FFmpeg+QT QMplay2播放器(2022新增)

01. QMplay2开源播放器讲解

02. QMplay2框架分析

03. 播放器模块划分

04. 解复用模块

05. 音视频解码

06. 播放器控制

07. 音视频同步

08. CUVID/D3D11VA硬解

09. 音量频谱展示

10. 音频均衡器

11. 画面旋转、翻转

12. 画面亮度、饱和度调节

13. 画面4:3 16:9切换

14. 码流信息分析

注：该项目难度较大，供深入学习播放器的学员参考，老师以提供课后技术支持为主，附加少量视频。

2.10 OBS推流录制源码分析(2022新增)

01. OBS vs2019+QT5.15.2编译

02. 音频配置和初始化分析

03. 音频线程模块采集和编码分析

04. 视频配置和初始化分析

05. 视频线程模块采集和编码分析

06. OBS初始化过程分析

07. 录制流程分析

08. 麦克风采集分析

09. 桌面采集分析

10. X264编码分析

11. 系统声音+麦克风混音

12. 推流模块分析

注：该项目难度较大，供深入推流项目的学员参考，老师以提供课后技术支持为主，附加少量视频。

流媒体客户端

3.1 RTMP推拉流项目实战

01. RTMP协议分析

02. wireshark抓包分析

03. H264 RTMP封装

04. AAC RTMP封装

05. RTMP拉流实战

06. H264 RTMP解析

07. AAC RTMP解析

08. RTMP推流实战

09. 没有MetaData能否播放

10. RTMP推流是否会导致延迟

11. RTMP推流如何动态调整码率

12. RTMP推流如何动态调整帧率

13. RTMP拉流是否会导致延迟

14. 如何检测RTMP拉流延迟

15. 如何解决RTMP播放延迟

16. ffplay、vlc能否用来测试播放延迟

17. RTMP拉流播放变速策略设置

注： RTMP推拉流是我们进入音视频流媒体领域的第一个项目，从数据采集->编码->推流-> 流媒体服务器转发->拉流->解码->播放等整个逻辑我们必须掌握。

3.2 HLS拉流分析

01. HLS协议分析

02. HTTP协议分析

03. TS格式分析

04. m3u8文件解析

05. wireshark抓包分析

06. HLS拉流实战

07. FFmpeg HLS源码分析

08. HLS多码率机制

09. 如何解决HLS延迟高的问题

注：理解HLS的拉流机制，有助于我们解决HLS播放延迟较高的问题

3.2 RTSP流媒体实战

01. RTSP协议分析

02. RTP协议分析

03. H264 RTP封装

04. H264 RTP解析

05. AAC RTP封装

06. AAC RTP解析

07. RTCP协议分析

08. RTSP流媒体服务器搭建

09. RTSP推流实战

10. RTSP拉流实战

11. wireshark抓包分析

12. RTP头部序号的作用

13. RTCP的NTP和RTP的TS的区别

14. RTSP交互过程

15. 花屏可能的原因

16. SPS PPS如何发送

17. SDP封装音视频信息

注：RTSP涉及的技术不单只适用于安防领域，其中的RTCP RTP SDP等协议在WebRTC也有应用。

流媒体服务器

4.1 SRS 3.0源码剖析

01. 整体框架分析

02. RTMP推流分析

03. RTMP拉流分析

04. HLS拉流分析

05. HTTP-FLV拉流分析

06. FFmpeg转码分析

07. 首屏秒开技术分析

08. forward集群源码分析

09. edge集群源码分析

10. 负载均衡部署方式

11. 连接和协程的关系

11. 如何更快速掌握SRS源码

12. 流媒体服务器是否导致延迟

13. 如何降低流媒体服务器的延迟

14. 怎么获取流媒体服务器推流信息

15. 怎么获取流媒体服务器拉流信息

16. 首屏秒开能降低延迟吗

17. 推流->服务器转发->拉流延迟分析

注：对于SRS流媒体服务器，我们长期更新，从3.0->4.0->5.0。

4.2 ZLMediaKit源码剖析(2022年新增)

01. 整体框架分析

02. 线程模块划分

03. RTSP推流连接处理

04. RTSP拉流连接处理

05. 数据转发模型

06. SDP解析

07. RTP H264解析

08. RTP AAC解析

注：ZLMediaKit主要讲解RTSP流媒体服务器相关的模块，其他模块RTMP/HLS等参考SRS。

WebRTC项目实战

5.1 WebRTC中级开发手把手写代码

01. WebRTC通话原理分析

02. WebRTC开发环境搭建

03. coturn最佳搭建方法

04. 如何采集音视频数据

05. 一对一通话时序分析

06. 信令服务器设计

07. SDP分析

08. Candidate类型分析

09. Web一对一通话

10. Web和Android通话

11. AppRTC快速演示

12. 如何设置编码器优先级

13. 如何限制最大码率

14. 信令服务器的本质是什么

15. 为什么从接口获取SDP后还要再次设置

16. Web和Android的SDP差异

17. A要和B通话，A怎么知道B的存在

注：学习WebRTC建议从web端入手，可以直接调用js接口（千万别刚接触WebRTC就忙着去编译WebRTC源码），对WebRTC通话流程有清晰的理解再考虑其他端。

5.2 WebRTC高级开发-MESH模型多人通话

01. 自定义摄像头分辨率

02. 码率限制

03. 调整编码器顺序

04. Mesh模型多方通话分析

05. 多人通话信令服务器开发

06. 动态分配stun/turn服务器

07. Web客户端源码

08. Android客户端源码

5.3 WebRTC高级开发-Janus SFU模型多人通话

01. Janus框架分析

02. Janus信令设计

03. 基于Janus实现会议系统

04. Janus Web客户端源码分析

05. Janus Android客户端源码分析

06. Janus Windows客户端源码分析

07. 基于Full ICE的部署

08. 基于Lite ICE的部署

09. Full ICE和Lite ICE的区别

10. 发布订阅模型

注：Janus是一个非常出名的SFU WebRTC服务器，不少企业基于该开源项目做二次开发，比如学霸君。

5.4 WebRTC高级开发-SRS 4.0/5.0源码分析

01. RTMP转发WebRTC逻辑

02. WebRTC转发RTMP逻辑

03. WebRTC音视频一对一通话

04. WebRTC多人通话

05. WebRTC SFU模型分析

06. SRTP分析

07. RTCP分析

08. SDP分析

09. NACK分析

10. stun分析

11. 拥塞控制算法

12. FEC

13. jitter buffer

注：SRS著名的流媒体服务器，社区非常活跃。红色为2022年 SRS 5.0新增内容

Android NDK开发

6.1 Android NDK开发基础

01. So库适配总结

02. GDB调试技巧

03. Makefile工程组织

04. CMake工程组织

05. 生成指定CPU平台的so库

06. JNI基础和接口生成

07. JNI Native层构建 Java 对象

08. JNI异常处理

6.2 Android FFmpeg编译和应用

01. 编译x264

02. 编译x265

03. 编译mp3

04. 编译fdk-aac

05. 编译FFmpeg

06. 使用ffmpeg实现mp4转格式

07. 使用FFmpeg开发播放器

6.3 Android RTMP推拉流

01. RTMP推流协议实现

02. RTMP拉流协议实现

03. RTMP拉流音视频同步

04. MediaCodec硬件编码

05. MediaCodec硬件解码

06. OpenSL ES播放音频数据

08. OpenGL ES Shader显示视频

6.4 Android Ijkplayer源码分析

01. 编译ijkplayer和实践

02. 项目框架分析

03. 播放状态转换

04. 拉流分析

05. 解码分析

06. 音频播放流程

07. 视频渲染流程

08. OpenSL ES播放音频数据

09. MediaCodec硬件解码

10. OpenGL ES Shader显示视频

11. 变速播放实现原理

12. 低延迟播放实现

13. 缓存队列设计机制分析

项目实践

7.1 9大开源项目

01. FFmpeg

02. QMPlay2

03. Ijkplayer

04. OBS

05. AppRTC

06. WebRTC

07. Janus

08. SRS

09. ZLMediaKit

7.2 自研项目和源码分析

01. SDL音频播放

02. SDL视频播放

03. FFmpeg内存引用计数

04. MP4/FLV/TS解复用

05. 提取H264

06. 提取AAC

07. H264/H265解码

08. AAC/MP3解码

09. AVIO内存输入模式

10. 音频重采样

11. 视频尺寸格式变换

12. DXVA2解码

13. NVDEC解码

14. CUVID解码

15. QSV解码

16. AAC编码优化

17. H264编码优化

18. H265编码优化

19. AAC转MP3

20. H264转H265

21. DXVA2编码

22. NVENC编码

23. CUVID编码

24. QSV编码

25. MP4合成

26. FLV合成

27. 多路音频混音

28. 视频添加水印

29. 视频区域裁剪

30. 视频翻转

31. 视频添加logo

32. ffplay播放器

33. ffmpeg多媒体处理工具

34. 0voice QT播放器

35. 基于QMPlay2原理开发的播放器

36. 基于OBS开发的录制和推流器

37. RTMP推流

38. RTMP拉流

39. HLS拉流

40. RTSP推流

41. RTSP推流

42. SRS 3.0/4.0/5.0源码分析

43. ZLMediaKit源码分析（RTSP模块）

44. 一对一音视频通话（Web、Android）

45. AppRTC一对一音视频通话

46. 基于mesh模型多人音视频通话（Web、Android）

47. Janus SFU视频会议（Web、Android、Windows）

48. Android简单播放器

49. Android RTMP推流

50. Android RTMP拉流

51. Android Ijkplayer源码分析

零声服务

8.1 适宜工程师人群

01. 从事音视频岗位开发，但没有时间系统学习的在职工程师

02. 从事嵌入式方向开发，想转入音视频开发的在职工程师

03. 从事Qt/MFC等桌面开发的，薪资多年涨幅不大的在职工程师

04. 从事Android/IOS移动开发，想往音视频方向发展的在职工程师

05. 从事C/C++后台开发，想往流媒体服务器方向发展的在职工程师

06. 自己研究学习速度较慢，不能系统构建音视频知识体系的开发人员

07. 计算机相关专业想进入大厂的在校生（本科及以上学历）

8.2 授课方式

01. 200+小时课程，每年有内容更新

02. 老师答疑工作问题课程问题

03. 班主任督学作业统计博客统计

8.3 面试跳槽

01. 简历梳理技术点凸显项目技术梳理

02. 模拟面试技术表述项目重点

03. 薪资谈判福利争取公司背调

04. offer选择职业规划技术前景

8.4 学习方法

01. 先看文档再看视频

02. 先把课程代码运行调试，然后修改调试，最后自己尝试重写

03. 每节课的知识点总结成技术博客（每月有博客大赛，有奖金支持）

04. 课程与工作相结合，重新思考需求功能

05. 不理解的技术点跟老师沟通

06. 偏音视频客户端方向：服务器相关的内容以了解为主，比如SRS流媒体服务器，主要是理解推拉流框架、协议转换逻辑，不需要投入太多的时间阅读源码。

07. 偏流媒体服务器方向：涉及到UI界面的设计以了解为主，比如播放器项目只需要专注于音视频相关的内容。

8.5 解决音视频自学的难点

01. 音视频自学非常困难，网上通俗易懂的难找到

02. 网上资料版本较旧，比如FFmpeg3.x版本

03. 音视频涉及大量的开源库和协议，编译和理解都较难

04. 部分嵌入式音视频的朋友技术面窄，技术不深入

8.6 高薪就业

01. 学员offer展示链接

红色内容为2022年新增