k-近邻算法知识框架笔记

k-近邻算法知识框架笔记，一张图带你完全了解相关内容，通过思维导图帮你提高效率，赶紧来试一试吧~

k-近邻算法知识框架笔记

• k-近邻算法概述
  • 优点
    • 精度高
    • 对异常值不敏感
    • 无数据输入假定
  • 缺点
    • 计算复杂度高
    • 空间复杂度高
  • 适用数据范围
    • 数值型
    • 标称型
  • 工作原理
    • 样本集中每个数据都存在标签
    • 输入没有标签的新数据后
      • 将新数据每个特征与样本集中数据对应特征比较
      • 算法提取样本集中特征最相似数据的分类标签
      • 一般选前k个最相似数据
    • 选择k个最相似数据中出现次数最多的分类，作为新数据的分类
  • 流程
    • 收集数据
      • 任何方法
    • 准备数据
      • 距离计算所需要的数值，最好是结构化的数据格式
    • 分析数据
      • 任何方法
    • 训练算法
      • 不适用
    • 测试算法
      • 计算错误率
    • 使用算法
      • 输入样本数据和结构化的输出结果
      • 运行kNN判定输入数据分别属于哪个分类
      • 对计算出的分类执行后续的处理
  • 准备：使用Python导入数据
  • 从文本文件中解析数据
    • 伪代码
      • 计算已知类别数据集中的点与当前点间的距离
      • 按照距离递增排序
      • 选最近的k点
      • 确定这k点所在类别出现频率
      • 返回频率最高的类别
    • Python代码
      • 欧式距离
  • 如何测试分类器
• 示例：使用kNN改进约会网站的配对效果
  • 准备数据：从文本文件中解析数据
    • 得到文件行数
    • 创建0填充的NumPy矩阵
    • 循环处理每行，存储到矩阵中
      • NumPy处理字符串
    • 注意
      • NumPy数组不支持Python自带的数组类型
  • 分析数据：使用Matplotlib创建散点图
    • 区分类别
  • 准备数据：归一化数值
    • newValue = (oldValue - min) / (max - min)
  • 测试算法：作为完整程序验证分类器
    • 训练集和测试集的比例
  • 使用算法：构建完整可用系统
• 示例：手写识别系统
  • 准备数据：将图像转换为测试向量
  • 测试算法：使用kNN识别手写数字
    • 时间空间开销大
      • k决策树优化