scikit-learn的全部estimatior

sklearn的全部学习器汇总。按这种方式可以掌握机器学习的所有内容。基于python的scikit-learn是功能强大的机器学习框架。

scikit-learn

• 监督学习
  • 线性模型 sklearn.linear_model.
    • 经典线性回归器
      • 最小二乘法拟合直线 LinearRegression
      • 岭回归：L2正则 Ridge，RidgeCV
      • 随机梯度下降回归 SGDRegressor
    • 线性分类器
      • 岭回归：L2正则 RidgeClassifier，RidgeClassifierCV
      • Logistic回归 LogisticRegression，LogisticRegressionCV
      • 感知器 Perceptron
      • 随机梯度下降分类器 SGDClassifier，SGDOneClassSVM
      • 被动攻击分类器 PassiveAggressiveClassifier
    • 能够进行变量选择的线性回归器：只有一部分特征起作用
      • 单任务
        • Lasso：L1正则 Lasso，LassoCV
        • 最小角回归LARS Lars，LarsCV
        • LARS Lasso：使用LARS算法的Lasso LassoLars，LassoLarsCV，LassoLarsIC（使用AIC或BIC判据）
        • 弹性网络：L1+L2正则 ElasticNet，ElasticNetCV
        • 正交匹配追踪法OMP OrthogonalMatchingPursuit，OrthogonalMatchingPursuitCV
      • 多任务：给每个样本一系列的目标值，或对每个数据点预测多个属性
        • 多任务Lasso MultiTaskLasso，MultiTaskLassoCV
        • 多任务弹性网络 MultiTaskElasticNet，MultiTaskElasticNetCV
    • 贝叶斯回归器
      • 贝叶斯岭回归：贝叶斯+共轭先验 BayesianRidge
      • 主动相关决策论：弱化了球形高斯分布假设，得到更稀疏的权重 ARDRegression
    • 稳健回归器：处理离群点或模型错误
      • RANSACRegressor，HuberRegressor，TheilSenRegressor，QuantileRegressor
    • 广义线性回归器：噪声为非高斯分布
      • Poisson分布 PoissonRegressor，Tweedie分布 TweedieRegressor，Gamma分布 GammaRegressor
  • 判别式分类 sklearn.discriminant_analysis.
    • 线性判别分析 LinearDiscriminantAnalysis
    • 二次判别分析 QuadraticDiscriminantAnalysis
  • 核岭回归 sklearn.kernel_ridge.
    • KernelRidge
  • 支持向量机 sklearn.svm.
    • 分类 SVC，LinearSVC，NuSVC（给定支持向量个数）
    • 回归 SVR，LinearSVR，NuSVR
    • 单类SVM：离群点检测 OneClassSVM
  • 高斯过程 sklearn.gaussian_process.
    • 高斯过程分类、回归 GaussianProcessClassifier，GaussianProcessRegressor
    • 内核 kernels.
      • 抽象基类 Kernel
      • 基础内核 ConstantKernel，WhiteKernel
      • 内核操作 Sum，Product，Exponentiation
      • 固定内核：只取决于两个样本的距离，对输入空间的转换是不变的
        • 径向基核 RBF
        • Matern核：RBF的泛化 Matern
        • 有理二次核：RBF的混合 RationalQuadratic
        • 正弦平方核：建模周期性函数 ExpSineSquared
      • 非固定内核：还取决于数据点的具体值
        • 点乘核 DotProduct
      • 由一组其他内核组成的内核 CompoundKernel
      • 内核超参数以命名元组的形式指定 Hyperparameter
      • 一个轻量级的包装将内核的功能包裹起来 PairwiseKernel
  • 交叉分解：两个多元数据集间的线性关系 sklearn.cross_decomposition.
    • 偏最小二乘法PLS：PLSCanonical，PLSRegression，PLSSVD
    • 典型相关分析CCA：CCA
  • 朴素贝叶斯 sklearn.naive_bayes.
    • 高斯朴素贝叶斯NB：分类 GaussianNB
    • 分类朴素贝叶斯CNB：具有分类分布的离散特征的数据集 CategoricalNB
    • 多项分布朴素贝叶斯MNB：文本分类 MultinomialNB
    • 补充朴素贝叶斯：MNB的改进，适用不平衡数据集 ComplementNB
    • 伯努利朴素贝叶斯BNB：多重伯努利分布的数据集 BernoulliNB
  • 决策树 sklearn.tree.
    • DecisionTreeClassifier，DecisionTreeRegressor
    • 极限随机树 ExtraTreeClassifier，ExtraTreeRegressor
  • 多类、多标签算法 sklearn.multiclass.
    • OneVsRestClassifier，OneVsOneClassifier
    • 误差校正输出代码 OutputCodeClassifier
  • 多输出算法 sklearn.multioutput.
    • ClassifierChain，RegressorChain，MultiOutputClassifier，MultiOutputRegressor
  • 保序回归 sklearn.isotonic.
    • IsotonicRegression，isotonic_regression
    • 检查y是否关于x单调递增 check_increasing
  • 虚拟的估计器 sklearn.dummy.
    • 虚拟的回归器 DummyClassifier
    • 虚拟的分类器 DummyRegressor
• 无监督学习
  • 高斯混合模型 sklearn.mixture.
    • GaussianMixture，BayesianGaussianMixture
  • 流形学习 sklearn.manifold.
    • 等距映射 Isomap
    • 局部线性嵌入LLE（包括MLLE，HLLE，LTSA） LocallyLinearEmbedding，locally_linear_embedding
    • 谱嵌入 SpectralEmbedding，spectral_embedding
    • 多维度尺度分析 MDS
    • t分布随机邻域嵌入 TSNE
    • 度量嵌入过程所保留本地结构的程度（可信度范围在[0，1]） trustworthiness
    • 使用SMACOF算法计算多维缩放 smacof
  • 聚类、双聚类 sklearn.cluster.
    • K-means聚类：EM算法 KMeans，MiniBatchKMeans，k_means，kmeans_plusplus
    • AP聚类：收发信息 AffinityPropagation，affinity_propagation
    • MeanShift聚类：更新质心球 MeanShift，mean_shift
    • 谱聚类：关联矩阵的低维嵌入 SpectralClustering，spectral_clustering
    • 层次聚类：自下而上相继合并聚类 AgglomerativeClustering
    • 特征聚集：可用于无监督降维 FeatureAgglomeration
    • DBSCAN：核心样本彼此靠近 DBSCAN，dbscan
    • OPTICS：DBSCAN样本彼此靠近的范围界限推广为区间 OPTICS
    • Birch：将数据有损压缩为聚类特征节点 Birch
    • 双聚类：联合谱聚类 SpectralCoclustering；双向谱聚类 SpectralBiclustering
  • 信号分解 sklearn.decomposition.
    • PCA、概率PCA PCA
    • 增量PCA IncrementalPCA
    • 核PCA KernelPCA
    • 稀疏PCA SparsePCA，MiniBatchSparsePCA
    • 截断奇异值分解：只计算样本矩阵的最大k个奇异值 TruncatedSVD
    • 词典学习
      • 稀疏编码：将信号转换成固定的、预计算的词典内原子的稀疏线性组合 SparseCoder，sparse_encode
      • 通用词典学习：找到一个在拟合数据的稀疏编码中表现良好的词典 DictionaryLearning，dict_learning，dict_learning_online
      • 小批量词典学习 MiniBatchDictionaryLearning
    • 因子分析FA FactorAnalysis
    • 独立成分分析：分离叠加信号 FastICA，fastica
    • 非负矩阵分解
      • NMF：非负矩阵的降维方法 NMF。控制NMF non_negative_factorization
      • 隐Dirichlet分配LDA：从文档集合中发现抽象主题 LatentDirichletAllocation
  • 估计协方差矩阵 sklearn.covariance.
    • 经验协方差 EmpiricalCovariance，empirical_covariance
    • 收缩协方差
      • 基本收缩 ShrunkCovariance，shrunk_covariance
      • Ledoit-Wolf收缩 LedoitWolf，ledoit_wolf
      • Oracle近似收缩 OAS，oas
    • 稀疏逆协方差 GraphicalLasso，GraphicalLassoCV，graphical_lasso
    • 鲁棒协方差
      • 最小协方差决定 MinCovDet
    • 检测高斯分布数据集中异常值 EllipticEnvelope
  • 估计概率密度
    • 核密度估计 sklearn.neighbors.KernelDensity
• 监督或者无监督学习
  • 基于邻居的方法 sklearn.neighbors.
    • 无监督最近邻 NearestNeighbors，它包括 KDTree 和 BallTree
    • 最近邻分类 RadiusNeighborsClassifier，KNeighborsClassifier
    • 最近邻回归 RadiusNeighborsRegressor，KNeighborsRegressor
    • 最近质心分类 NearestCentroid
    • 邻域成分分析 NeighborhoodComponentsAnalysis
    • 基于最近邻的数据转化 KNeighborsTransformer，RadiusNeighborsTransformer
  • 神经网络模型 sklearn.neural_netrowk.
    • 有监督：多层感知器 MLPClassifier，MLPRegressor
    • 无监督：限制玻尔兹曼机 BernoulliRBM
• 半监督学习 sklearn.semi_supervised.
  • 标签传播分类器 LabelPropagation
  • 标签传播分类器：使用基于规范化图的拉普拉斯矩阵和标签间的软夹持 LabelSpreading
  • 自训练分类器：给定监督分类器+迭代预测未标记数据的伪标签并将其添加到训练集 SelfTrainingClassifier
• 集成方法 sklearn.ensemble.
  • Bagging元估计器 BaggingClassifier，BaggingRegressor
  • 随机树组成的森林
    • 随机森林 RandomForestClassifier，RandomForestRegressor
    • 极限随机树 ExtraTreesClassifier，ExtraTreesRegressor
    • 完全随机树嵌入 RandomTreesEmbedding
    • 孤立森林 IsolationForest
  • AdaBoost AdaBoostClassifier，AdaBoostRegressor
  • GradientBoostingClassifier，GradientBoostingRegressor， 梯度提升树 HistGradientBoostingRegressor（试验），HistGradientBoostingClassifier（试验）
  • 投票器 VotingClassifier，VotingRegressor
  • stacking：K折交叉验证+第2层估计器 StackingClassifier，StackingRegressor
• 奇异值检测
  • 离群点检测：训练数据，无监督
  • 新奇点检测：测试数据，半监督