机器学习学习笔记

机器学习学习笔记 #1 - 监督学习／生成学习／基于 R 的实现（含 LDA/KNN 算法），有兴趣的可以看看哟。

ML #Day1 - 认识 ML

• ML分类-Focus on classification problems
  • Supervised learning
  • UnSupervised learning
    • unsupervised dimension reduction
    • clustering or cluster analysis
  • 区别：在生成分类器时，是否对 training data 给定 y/label
  • Semi-supervised learning
    • 获取所有 training data 的 label 比较困难，适用于拥有部分训练集的 label 时
  • Multi-lable classification
    • 适用于多维 label 的训练集
  • Reinforcement learning
    • 最优化策略
• 拟合效果
  • goodfitting
    • 拟合效果好
  • overfitting
    • 过拟合
      • 对 training data 拟合效果好，对 test data 拟合差
      • 典例：多项式拟合
  • underfitting
    • 拟合效果不好

ML #Day1 - 生成学习

• Focus on Classification Problems
  • Discriminant learning
    • 直接利用 training data 建模，求 Pr(y|X=xi)
    • 典例：回归/SVMs
  • Generative learning
    • 对每一类 y, 训练 x 的分布，得到 Pr(x|y=yi)， 再通过 Bayes' Theorem 求 Pr(y|X=xi)
      • Bayes' Theorem: Posterior 正比于 Likelihood * Prior
        • Likelihood-新数据集
        • Prior-历史数据集
      • 原理中给定条件，故属于 Supervised learning
    • 典例：Naive Bayes
  • 分类器的本质——求 Pr(y|X=xi)
• 基于贝叶斯理论衍生出的算法
  • 朴素贝叶斯-Naive Bayes
    • 假设：Conditional independence assumption
    • 基于 MAP 规则，完成分类器的生成
      • Maximum a posterior decision rule
  • LDA-Linear discriminant analysis
    • 假设
      • 每一类数据集服从正态分布
      • 不同类别之间同方差，异均值
    • 基于 MAP 规则，完成分类器的生成
      • 分界面为线性，适合分类器为线性边界的情况
  • QDA-Quadratic discriminant analysis
    • 假设
      • 每一类数据集服从正态分布
      • 不同类别之间异方差，异均值
    • 基于 MAP 规则，完成分类器的生成
      • 分界面非线性，考虑是否存在 underfitting
  • FDA-Fisher discriminant analysis
    • 目的：找到一个好的投影方向，从而完成分类
    • 结果：算法不同于 LDA ; 结果于 LDA 相同
    • 基于最小化( between-class sactter/within-class scatter )规则，完成分类器的生成
      • 降维的核心解释——投影矩阵
      • 方向不一定全要，分类效果至上
      • 选择不同的投影矩阵，实现分类维数的可控

ML #Day1 - 基于 R 的实现

• Focus on "caret" package
  • 常规来看，各种算法的包都在 "MASS" package 中
  • 但 "caret" packeage 在多数情况下比较方便快捷
• LDA
  • library(caret)
  • data(GermanCredit)
  • GermanCredit[,c("Purpose.Vacation","Personal.Female.Single")] <- list(NULL)
    • 数据清洗
  • set.seed(12)
  • trainIndex = createDataPartition(GermanCredit$Class, p = 0.7, list = FALSE, times = 1)
  • train.feature=GermanCredit[trainIndex,-10]
  • train.label=GermanCredit$Class[trainIndex]
  • test.feature=GermanCredit[-trainIndex,-10]
  • test.label=GermanCredit$Class[-trainIndex]
  • 生成训练集和测试集
  • ldaFit=train(train.feature,train.label, method = "lda", trControl = trainControl(method = "none"))
  • ldaFit$finalModel
  • LDA
  • pred=predict(ldaFit,test.feature);pred
    • 测试结果
  • acc=mean(pred==test.label);acc
    • 测试准确率
  • table(pred,test.label)
    • 整体测试情况
  • 注：对于其他的方法，只需要修改 LDA Chunk 中的 method 和 trainControl 即可
• KNN
  • fitControl <- trainControl(method = "repeatedcv", number = 10, repeats = 5)
    • 修改 trainControl
  • set.seed(5)
  • knnFit=train(train.feature,train.label, method = "knn", trControl = fitControl, metric = "Accuracy", preProcess = c("center","scale"), tuneLength=10)
  • knnFit
  • knnFit$finalModel
  • KNN
  • pred=predict(knnFit,test.feature);pred
    • 测试结果
  • acc=mean(pred==test.label);acc
    • 测试准确率
  • 同等条件下，如先将数据投影到 LDA 特征空间，再用 KNN 算法会稍微提高预测准确率
    • library(MASS)
    • fit=lda(train.feature,train.label)
    • train.feature.proj=predict(fit,train.feature)$x
    • test.feature.proj=predict(fit,test.feature)$x
    • 将数据投影到 LDA 特征空间
    • 注：数据来源直接来自 "caret" package