导图社区 人工智能:机器学习
人工智能基础学习系列,机器学习要点,感兴趣的同学,可以收藏下图。
编辑于2020-11-12 23:52:59这是一篇关于算力提升MLCC需求的思维导图,主要内容包括:市场规模与增长趋势,主要厂商市场份额,市场驱动因素,市场挑战,算力革命推动转型,各领域需求变化,供应链挑战与应对,技术创新与产业前景,钇替代钛酸钡材料,层间应变工程策略,小型化与高性能化趋势,高频应用材料优化,可持续材料研究,陶瓷粉末市场,金属电极材料市场,原材料市场挑战,区域分布与市场整合。
提升AI职业经验,决胜未来。为希望在人工智能(AI)领域建立职业生涯的人提供了一系列实用的建议。
数据要素流通白皮书响应国家大数据战略、推动数字经济发展的重要步骤,对于构建数据要素市场、促进数据资源的有效利用和数据产业的健康成长具有深远影响。
社区模板帮助中心,点此进入>>
这是一篇关于算力提升MLCC需求的思维导图,主要内容包括:市场规模与增长趋势,主要厂商市场份额,市场驱动因素,市场挑战,算力革命推动转型,各领域需求变化,供应链挑战与应对,技术创新与产业前景,钇替代钛酸钡材料,层间应变工程策略,小型化与高性能化趋势,高频应用材料优化,可持续材料研究,陶瓷粉末市场,金属电极材料市场,原材料市场挑战,区域分布与市场整合。
提升AI职业经验,决胜未来。为希望在人工智能(AI)领域建立职业生涯的人提供了一系列实用的建议。
数据要素流通白皮书响应国家大数据战略、推动数字经济发展的重要步骤,对于构建数据要素市场、促进数据资源的有效利用和数据产业的健康成长具有深远影响。
周志华·机器学习
1. 绪论
1.1. 引言
1.1.1. 基本术语
样本
每一条记录
训练
从模型中学习
数据集
所有记录的集合
维数
样本的特征数
泛化能力
机器学习出来的模型适用于新样本的能力
分类
预测值为离散值
回归
预测值为连续值
1.2. 学习类型
1.2.1. 监督学习
训练数据有标记信息的任务
1.2.2. 非监督学习
训练数据无标记信息的学习任务
1.3. 假设空间
1.3.1. 推理手段
归纳
广义
样例学习
狭义
概念形成
布尔概念
演绎
1.4. 归纳偏好
1.4.1. 定义:机器学习算法在学习过程中对某种类型假设的偏好
1.4.2. 方法:奥卡姆剃刀原则
1.5. 发展历程
1.5.1. 符号主义
决策树
基于逻辑学习
1.5.2. 连接主义
感知机
1.5.3. 统计学习
支持向量机
核方法
1.6. 应用学习
1.6.1. 数据分析
1.6.2. 无人驾驶
1.6.3. 理解人类如何学习
2. 模型选择与评估
1. 经验误差与过拟合
1.1. 误差:实际输出/样本输出
训练集:训练误差
测试集:泛化误差
1.2. 拟合
欠拟合
学习能力过弱
过拟合
学习能力过强
2. 评估方法
2.1. 流出法
互斥的集合
2.2. 交叉验证法
K折交叉验证
2.3. 自助法
自主采样法:基本
2.4. 调参和自助模型
3. 性能度量
3.1. 衡量模型泛化能力
3.2. 常用性能度量
错误率与精度
适用
二分类
多分类
P:查准率
R:查全率
互为矛盾
F1
P和R的加权调和平均
ROC
受试者工作特征
AUC
ROC曲线面积
代价敏感错误率
代价曲比较检验线
4. 比较检验
4.1. 假设检验
4.2. 交叉验证T检验
4.3. F检验
4.4. Nenmeni检验
5. 偏差与方差
5.1. 偏差
本身拟合能力
5.2. 方差
数据变动造成的影响
冲突
3. 线性模型
3.1. 基本形式
3.1.1. 线性模型
3.2. 线性回归
3.2.1. 输入属性:1
典型:最小二乘法
预测值与真实值之间的误差并求和
MSE
求偏导计算拟合直线
3.2.2. 输入属性>1
适用矩阵
3.2.3. 对数线性回归
指数变化
3.3. 对数几率回归
3.3.1. 线性回归结果:逼近对数几率
3.4. 线性判别分析
3.4.1. 贝叶斯理论解释
3.5. 多分类学习
3.5.1. ECOC
编码
解码
3.6. 类别不平衡
3.6.1. 不同类别的样例数差别大
4. 决策树
4.1. 基本流程
4.1.1. 特点:递归
4.1.2. 基于树结构决策
4.1.3. 目的:泛化能力强的树获得
4.2. 划分选择
4.2.1. 信息增益
信息熵:样本集合纯度指标
4.2.2. 增益率
最优划分属性
4.2.3. 基尼系数
不一致概率
4.3. 剪枝处理
4.3.1. 预剪枝
对应:过拟合
4.3.2. 后剪枝
4.4. 连续与缺失值
4.4.1. 连续值处理
二分法
4.4.2. 缺失值处理
4.5. 多变量决策树
4.5.1. 建立一个合适的线性分类器
5. 神经网络
5.1. 神经元
5.1.1. 基本成分:神经元
5.1.2. 处理:激活函数
5.2. 感知机多层网络
5.2.1. 感知机:2层神经元
1层:功能神经元
不可解:非线性问题
异或问题:2层感知机
5.3. 误差逆传播算法
5.3.1. 更强大算法(BP)
标准BP
每次针对1组数据
未决问题:设置神经元个数
试错法
累计BP
累计误差最小化
缓解过拟合
早停
正则化
5.4. 全局最小与局部极小
5.4.1. 全局最小
遗传算法
参数空间内梯度为零的点,只要其误差函数值小于邻点的误差函数 值,就是局部极小点
5.5. 其他常见神经网络
5.5.1. RBF
确定神经元中心
利用 BP 算法等来确定参数
5.5.2. ART
5.5.3. SOM
5.5.4. 级联相关网络
5.5.5. ELMAN
5.5.6. Boltzmann机
5.6. 深度学习
5.6.1. 多层神经网络
6. 支持向量机
6.1. 间隔和支持向量
6.1.1. 间隔
两个异类支持向量到超平面的距离之和
子主题
6.1.2. 支持向量
最大化间隔:支持向量机
定义:距离超平面最近点
6.2. 对偶问题
6.2.1. 二次规划问题
6.2.2. 训练后样本不保留
6.3. 核函数
6.3.1. 对称函数所对应的核矩阵半正定
6.4. 软间隔和正则化
6.4.1. 向量机出错:某些样本
6.4.2. 3种替代损失函数
hinge 损失
指数损失
对率损失
6.4.3. 正则化
最小化训练误差的过拟合风险
6.5. 支持向量回归
6.6. 核方法
7. 贝叶斯分类
7.1. 贝叶斯决策论
7.1.1. 概率决策方法
基于概率和误判损失选择最优类别
7.2. 极大似然估计
7.2.1. 优点:条件概率估计简单
7.2.2. 缺点:依赖假设概率
7.3. 朴素贝叶斯分类器
7.3.1. 来估计类先验概率
7.3.2. 为每个属性估计条件概率
7.4. .4半朴素贝叶斯分类器
7.4.1. 对属性条件独立性假设进行一定程度的放松
7.5. 贝叶斯网
7.5.1. 组成
结构
参数
7.5.2. 特点
有向无环图刻画依赖关系
条件概率表:属性概率分布
7.5.3. 学习:数据压缩
7.5.4. 推断
7.5.5. EM算法
8. 集成学习
8.1. 定义:构建多个学习器
8.1.1. 个体学习器生成方法
存在依赖关系
不存在依赖关系
8.1.2. 方法:使用策略
8.2. boosting
8.2.1. 弱学习→强学习
adaboosting
8.2.2. 目的:降低偏差
8.3. bagging
8.3.1. 并行式集成学习方法
8.3.2. 目标:降低方差
8.4. 随机森林
8.4.1. 基本:决策树
8.4.2. 随机属性
8.5. 结合策略
8.5.1. 优点
减少泛化功能不佳
降低陷入糟糕局部最小点风险
获得很好的近似
8.5.2. 方法
平均法
投票法
学习法
8.6. 多样性
8.6.1. 误差-分歧分解
8.6.2. 多样性度量
8.6.3. 多样性增强
扰动
数据
属性
表示
参数
9. 聚类
9.1. 定义
9.1.1. 无监督学习
9.1.2. 解释数据内在关系
9.2. 性能度量
9.2.1. 外部指标
9.2.2. 内部指标
9.3. 距离计算
9.4. 原型聚类
9.4.1. 先迭代
9.4.2. 后初始化
9.4.3. 方法
K均值算法
学习向量量化
高斯混合聚类
密度聚类
9.5. 密度聚类
9.5.1. 根据样本紧密程度
9.6. 层次聚类
10. 降维和度量学习
10.1. k紧邻学习
10.1.1. 监督学习方法
10.1.2. 问题:没有显式训练过程
10.2. 低维嵌入
10.2.1. 原因:维数灾难
10.3. 主成分分析
10.3.1. 最近重构性
10.3.2. 最大可分性
10.4. 核化线性降维
10.5. 流形学习
10.5.1. 等度量映射
指定紧邻点个数
10.5.2. 局部线性嵌入
临域内线性关系保持
10.6. 度量学习
10.6.1. 目的:低维空间
11. 特征选择和稀疏学习
11.1. 自己搜索与评价
11.1.1. 特征:属性
11.1.2. 选择特征子集:特征选择
11.1.3. 特征选择
数据预处理方式
11.1.4. 目的
避免维数灾难
降低学习难度
11.1.5. 子集搜索
11.1.6. 自己评价
11.2. 特征选择方法
11.2.1. 过滤式
11.2.2. 嵌入式
11.2.3. 包裹式
11.3. 过滤式选择
11.3.1. 相关统计量
11.3.2. Relief
确定相关统计量
11.4. 包裹式设计
11.5. 嵌入式选择与正则化
11.5.1. 训练中选择特征选择
11.5.2. 正则化
缓解过拟合
11.6. 稀疏表示
11.6.1. 特征选择去除无关列
11.7. 字典学习
11.7.1. 稀疏编码
11.8. 压缩感知
11.8.1. 利用信号稀疏性
11.8.2. 例:读书喜好
12. 计算学习理论
12.1. 基础知识
12.1.1. 本质:分析困难
12.2. 有限假设空间
12.2.1. 基本概念
概率近似正确
12.3. 有限假设空间
12.3.1. 可分情形
12.3.2. 不可分情形
12.3.3. VC维
现状:无限假设空间
12.3.4. 几个基本概念
增长函数
对分
打散
12.3.5. Rademacher
12.4. 稳定性
12.4.1. 根据算法自身特性
12.4.2. 检讨泛化误差姐
13. 半监督学习
13.1. 未标记样本
13.1.1. 现实需求强烈
13.2. 种类
13.2.1. 纯半监督学习
13.2.2. 直推学习
13.3. 方法
13.3.1. 聚类假设
13.3.2. 流形假设
13.4. 生成式方法
13.4.1. 假设:潜在同一模型生成
13.5. 半监督SVM
13.5.1. 假设:低密度分割
13.5.2. 典型方法:TVSM
2分类方法
13.6. 图半监督学习
13.6.1. 基于矩阵
13.6.2. 颜色扩散
13.6.3. 问题
不能大规模计算
需要数据重构
13.7. 基于分歧的方法
13.7.1. 受影响小
13.7.2. 多个学习器
13.8. 半监督聚类
13.8.1. 获得监督信息
13.8.2. 监督种类
必联
属于同族
误联
不属同族
14. 概率图模型
14.1. 隐马尔可夫模型
14.1.1. 动态贝叶斯网
状态变量
柔性变量
14.1.2. 用图表达概率关系
14.2. 马尔科夫随机场
14.2.1. 无向图模型
局部
独立其他变量
成对
邻接变量
14.3. 条件随机场
14.3.1. 判别式
14.3.2. 无向图模型
14.4. 学习与判断
14.4.1. 极大似然估计
14.4.2. 概率图推断方法
精确推断
近似推断
14.4.3. 变革消去
图模型消减计算量
缺点
冗余计算
14.4.4. 信念传播
14.5. 近似推断
14.5.1. MCMC采样
14.5.2. 变分推断
近似后验分布
已知分布推断
14.6. 话题模型
14.6.1. 生成式
14.6.2. 有向图
14.6.3. 典型代表
LDA
15. 规则学习
15.1. 规则定义
15.1.1. 语义明确
15.1.2. 客观规律
15.1.3. 本质
贪心搜索
15.2. 序贯覆盖
15.2.1. 目标
数据覆盖
15.2.2. 方法
自顶向下
自底向下
15.3. 剪枝优化
15.3.1. 统计显著性检验
15.4. 一阶规则学习
15.4.1. 命题逻辑表达
15.5. 归纳逻辑程序设计
15.5.1. 特点
有表达能力
基于背景归纳
15.5.2. 最小一般泛化
15.5.3. 逆归结
需要合一置换
16. 强化学习
16.1. 任务与奖赏
16.1.1. 强化学习
多次反复
不断总结
16.2. K-摇臂赌博机
16.2.1. 探索与利用
每个动作的奖赏
最大奖赏的动作
16.2.2. e-贪心
16.2.3. softmax
16.3. 有模型学习
16.3.1. 策略评价
16.3.2. 策略改进
策略迭代
值迭代
16.4. 免模型学习
16.4.1. 问题无法评估
16.4.2. 蒙特卡罗强化学习
不利用MDP
16.4.3. 时序差分学习
16.5. 值函数近似
16.5.1. 状态-动作函数
获取策略
16.6. 模仿学习
16.6.1. 直接模仿学习
16.6.2. 逆强化学习
运用:奖赏函数
范例函数最优