机器学习理论与方法

此篇导图依据机器学习与python概述，数据预测中的相关问题，数据预测建模，特征选择，特征提取以及揭示数据内在结构等内容详细的阐述机器学习理论与方法

机器学习理论与方法

• 机器学习与Python概述
  • 机器学习与人工智能的关系
  • 机器学习的学习对象和任务
• 数据预测中的相关问题
  • 数据预测与预测建模
    • 预测模型
    • 预测模型参数估计的基本策略
  • 预测模型的评价
    • 模型误差的评价指标
    • 模型的图形化评价工具
    • 泛化误差的估计方法
    • 数据集的划分策略
  • 预测模型的选择问题
    • 模型过拟合
    • 预测模型的偏差和方差
• 数据预测建模:贝叶斯分类器
  • 贝叶斯概率和贝叶斯法则
  • 贝叶斯和朴素贝叶斯分类器
    • 贝叶斯和朴索贝叶斯分类器的一般内容
    • 贝叶斯分类器的先验分布
  • 贝叶斯分类器的分类边界
• 数据预测建模:近邻分析
  • 近邻分析: K- 近邻法
    • 距离: K-近邻法的近邻度量
    • 参数K: 1-近邻法还是K-近邻法
  • 基于观测相似性的加权K-近邻法
    • 加权K近邻法的权重
    • 加权K-近邻法的预测
    • 加权K-近邻法的分类边界
  • K-近邻法的适用性
• 数据预测建模：决策树
  • 决策树的核心问题
    • 决策树的概念
    • 分类树的分类边界
    • 回归树的回归平面
    • 决策树的生长和剪枝
  • 分类回归树的生长
    • 分类树中的异质性度量
    • 回归树中的异质性度量
  • 分类回归树的剪枝
    • 代价复杂度和最小代价复杂度
    • 分类回归树的剪枝过程
• 数据预测建模:集成学习
  • 集成学习的一般问题
    • 解决高方差问题
    • 从弱模型到强模型
  • 基于重抽样自举法的集成学习
    • 重抽样自举法
    • 袋装策略
    • 随机森林
  • 集成学习:从弱模型到强模型
    • 提升策略
    • AdaBoost.M1算法
    • SAMME 算法和SAMME.R算法
    • 回归预测中的提升策略
  • 梯度提升树
    • 梯度提升算法
    • 梯度提升回归树
    • 梯度提升分类树
  • XGBoost算法精要
    • XGBoost算法中的目标函数
    • 目标函数的近似表达
    • 决策树的求解
• 数据预测建模：人工神经网络
  • 人工神经网络的基本概念
  • 感知机网络
    • 感知机网络中的节点
    • 感知机节点中的加法器
    • 感知机节点中的激活函数
    • 感知机的权重训练
  • 多层感知机及B-P反向传播算法
    • 多层网络的结构
    • 多层网络的隐藏节点
    • B-P 反向传播算法
• 数据预测建模：支持向量机
  • 支持向量分类的一般问题
  • 完全线性可分下的支持向量分类
    • 如何求解超平面
    • 参数求解的拉格朗日乘子法
    • 支持向量分类的预测
  • 广义线性可分下的支持向量分类
    • 广义线性可分下的超平面
    • 广义线性可分下的错误惩罚和目标函数
    • 广义线性可分下的超平面参数求解
  • 线性不可分问题下的支持向量分类
    • 线性不可分问题的一般解决方式
    • 支持向量分类克服维灾难的途径
  • 支持向量回归
    • 支持向量回归的基本思路
    • 支持向量回归的目标函数和约束条件
• 特征选择：过滤、包裹和嵌入策略
  • 过滤式策略下的特征选择
    • 低方差过滤法
    • 分类预测中的高相关过滤法：F统计量
    • 分类预测中的高相关过滤法：x2统计量
    • 分类预测中的高相关过滤法：其他统计量
  • 包裹式策略下的特征选择
    • 包裹式策略的基本思路
    • 递归式特征剔除法
    • 基于交又验证的递归式特征剔除法
  • 嵌入式策略下的特征选择
    • 岭回归和Lasso回归
    • 弹性网回归
• 特征提取：空间变换策略
  • 主成分分析
    • 主成分分析的基本出发点
    • 主成分分析的基本原理
    • 确定主成分
  • 矩阵的奇异值分解
    • 奇异值分解的基本思路
    • 基于奇异值分解的特征提取
  • 核主成分分析
    • 核主成分分析的出发点
    • 核主成分分析的基本原理
    • 核主成分分析中的核函数.
  • 因子分析
    • 因子分析的基本出发点
    • 因子分析的基本原理
    • 因子载荷矩阵的求解
    • 因子得分的计算
• 揭示数据内在结构：聚类分析
  • 聚类分析的一般问题
    • 聚类算法概述
    • 聚类解的评价
    • 聚类解的可视化
  • 基于质心的聚类模型：K-均值聚类
    • K-均值聚类基本过程
    • K-均值聚类中的聚类数目
    • 基于K-均值聚类的预测
  • 基于联通性的聚类模型：系统聚类
    • 系统聚类的基本过程
    • 系统聚类中距离的联通性测度
    • 系统聚类中的聚类数目
  • 基于高斯分布的聚类模型：EM聚类
    • 基于高斯分布聚类的出发点：有限混合分布
    • EM聚类算法
• 揭示数据内在结构：特色聚类
  • 基于密度的聚类：DBSCAN聚类
    • DBSCAN聚类中的概念
    • DBSCAN 聚类过程
    • DBSCAN 聚类的参数敏感性
  • Mean-Shift 聚类
    • 核密度估计的概念
    • 核密度估计在 Mean-Shit聚类中的意义
    • Mean-Shift 聚类过程
  • BIRCH 聚类
    • BIRCH 聚类的特点
    • BIRCH算法中的聚类特征树
    • BIRCH 聚类的核心步骤
    • BIRCH聚类的在线动态聚类
    • BIRCH聚类解的优化

机器学习理论与方法

• 机器学习与Python概述
  • 机器学习与人工智能的关系
  • 机器学习的学习对象和任务
• 数据预测中的相关问题
  • 数据预测与预测建模
    • 预测模型
    • 预测模型参数估计的基本策略
  • 预测模型的评价
    • 模型误差的评价指标
    • 模型的图形化评价工具
    • 泛化误差的估计方法
    • 数据集的划分策略
  • 预测模型的选择问题
    • 模型过拟合
    • 预测模型的偏差和方差
• 数据预测建模:贝叶斯分类器
  • 贝叶斯概率和贝叶斯法则
  • 贝叶斯和朴素贝叶斯分类器
    • 贝叶斯和朴索贝叶斯分类器的一般内容
    • 贝叶斯分类器的先验分布
  • 贝叶斯分类器的分类边界
• 数据预测建模:近邻分析
  • 近邻分析: K- 近邻法
    • 距离: K-近邻法的近邻度量
    • 参数K: 1-近邻法还是K-近邻法
  • 基于观测相似性的加权K-近邻法
    • 加权K近邻法的权重
    • 加权K-近邻法的预测
    • 加权K-近邻法的分类边界
  • K-近邻法的适用性
• 数据预测建模：决策树
  • 决策树的核心问题
    • 决策树的概念
    • 分类树的分类边界
    • 回归树的回归平面
    • 决策树的生长和剪枝
  • 分类回归树的生长
    • 分类树中的异质性度量
    • 回归树中的异质性度量
  • 分类回归树的剪枝
    • 代价复杂度和最小代价复杂度
    • 分类回归树的剪枝过程
• 数据预测建模:集成学习
  • 集成学习的一般问题
    • 解决高方差问题
    • 从弱模型到强模型
  • 基于重抽样自举法的集成学习
    • 重抽样自举法
    • 袋装策略
    • 随机森林
  • 集成学习:从弱模型到强模型
    • 提升策略
    • AdaBoost.M1算法
    • SAMME 算法和SAMME.R算法
    • 回归预测中的提升策略
  • 梯度提升树
    • 梯度提升算法
    • 梯度提升回归树
    • 梯度提升分类树
  • XGBoost算法精要
    • XGBoost算法中的目标函数
    • 目标函数的近似表达
    • 决策树的求解
• 数据预测建模：人工神经网络
  • 人工神经网络的基本概念
  • 感知机网络
    • 感知机网络中的节点
    • 感知机节点中的加法器
    • 感知机节点中的激活函数
    • 感知机的权重训练
  • 多层感知机及B-P反向传播算法
    • 多层网络的结构
    • 多层网络的隐藏节点
    • B-P 反向传播算法
• 数据预测建模：支持向量机
  • 支持向量分类的一般问题
  • 完全线性可分下的支持向量分类
    • 如何求解超平面
    • 参数求解的拉格朗日乘子法
    • 支持向量分类的预测
  • 广义线性可分下的支持向量分类
    • 广义线性可分下的超平面
    • 广义线性可分下的错误惩罚和目标函数
    • 广义线性可分下的超平面参数求解
  • 线性不可分问题下的支持向量分类
    • 线性不可分问题的一般解决方式
    • 支持向量分类克服维灾难的途径
  • 支持向量回归
    • 支持向量回归的基本思路
    • 支持向量回归的目标函数和约束条件
• 特征选择：过滤、包裹和嵌入策略
  • 过滤式策略下的特征选择
    • 低方差过滤法
    • 分类预测中的高相关过滤法：F统计量
    • 分类预测中的高相关过滤法：x2统计量
    • 分类预测中的高相关过滤法：其他统计量
  • 包裹式策略下的特征选择
    • 包裹式策略的基本思路
    • 递归式特征剔除法
    • 基于交又验证的递归式特征剔除法
  • 嵌入式策略下的特征选择
    • 岭回归和Lasso回归
    • 弹性网回归
• 特征提取：空间变换策略
  • 主成分分析
    • 主成分分析的基本出发点
    • 主成分分析的基本原理
    • 确定主成分
  • 矩阵的奇异值分解
    • 奇异值分解的基本思路
    • 基于奇异值分解的特征提取
  • 核主成分分析
    • 核主成分分析的出发点
    • 核主成分分析的基本原理
    • 核主成分分析中的核函数.
  • 因子分析
    • 因子分析的基本出发点
    • 因子分析的基本原理
    • 因子载荷矩阵的求解
    • 因子得分的计算
• 揭示数据内在结构：聚类分析
  • 聚类分析的一般问题
    • 聚类算法概述
    • 聚类解的评价
    • 聚类解的可视化
  • 基于质心的聚类模型：K-均值聚类
    • K-均值聚类基本过程
    • K-均值聚类中的聚类数目
    • 基于K-均值聚类的预测
  • 基于联通性的聚类模型：系统聚类
    • 系统聚类的基本过程
    • 系统聚类中距离的联通性测度
    • 系统聚类中的聚类数目
  • 基于高斯分布的聚类模型：EM聚类
    • 基于高斯分布聚类的出发点：有限混合分布
    • EM聚类算法
• 揭示数据内在结构：特色聚类
  • 基于密度的聚类：DBSCAN聚类
    • DBSCAN聚类中的概念
    • DBSCAN 聚类过程
    • DBSCAN 聚类的参数敏感性
  • Mean-Shift 聚类
    • 核密度估计的概念
    • 核密度估计在 Mean-Shit聚类中的意义
    • Mean-Shift 聚类过程
  • BIRCH 聚类
    • BIRCH 聚类的特点
    • BIRCH算法中的聚类特征树
    • BIRCH 聚类的核心步骤
    • BIRCH聚类的在线动态聚类
    • BIRCH聚类解的优化