机器学习基础

主要是机器学习的一些基础概念知识。机器学习基础包括机器学习系统的种类、机器学习的主要挑战、测试与验证等。

机器学习基础

机器学习系统的种类

监督式/无监督式学习

监督式学习

K-近邻算法(k- Nearest Neighbors

线性回归( Linear Regression)

逻辑回归( Logistic Regression)

支持向量机( Support Vector Machines,SVM

决策树和随机森林( Decision Trees and Random Forests)

神经网络( Neural networks)

无监督式学习

聚类算法

k-平均算法(k- Means)

分层聚类分析( Hierarchical Cluster Analysis,HCA

最大期望算法( Expectation Maximization)

可视化和降维

主成分分析(PCA)

核主成分分析( Kernel PCA)

局部线性嵌入(LE)

t-分布随机近临嵌入(t-SNE)

关联规则学习

Apriori

Eclat

半监督式学习

强化学习

批量学习和在线学习

批量学习

在线学习

基于实例与基于模型的学习

基于实例的学习

基于模型的学习

机器学习的主要挑战

训练数据的数量不足

训练数据不具代表性

质量差的数据

无关特征

训练数据过度拟

当模型相对于训练数据的数量和噪度都过于复杂时,会发生过度拟合。可能的解决方案如下。 简化模型:可以选择较少参数的模型(例如,选择线性模型而不是高阶多项式模型),可以减少训练数据中的属性数量,又或者是约束模型。 收集更多的训练数据。 减少训练数据中的噪声(例如,修复数据错误和消除异常值)。

超参数

训练数据拟合不足

解决这个问题的主要方式有: 选择一个带有更多参数、更强大的模型给学习算法提供更好的特征集(特征工程) 减少模型中的约束(比如,减少正则化超参数)

测试与验证

训练集

测试集

验证集

交又验证