第八章特征工程入门与实践

这是一篇关于第八章特征工程入门与实践的思维导图，介绍了特征工程从简介、探索性分析、数据清洗、特征构造、特征选择到特征转换的各个环节，适合用于学习和梳理特征工程的相关知识。

第八章特征工程入门与实践

• 第一节 特征工程简介
  • 特征工程内涵
    • 特征工程概念
    • 性能
      • 预测性能
        • 子主题
      • 元指标，即不直接与模型性能预测相关的指标
    • 步骤
      • 特征理解→特征增强→特征构建特征选择→特征转换
        • 子主题
• 第二节 特征理解：探索性分析（EDA)
  • 含义
    • 对数据特征的初步、总体认识
    • 考察维度：数据规模/类型/等级/统计信息/分布/关系
    • 本质：为后续分析打基础的初步探索
  • 步骤
    • 步骤1：查看数据概况
      • 核心内容：数据规模（行列数）、列名、非空行数、数据类型（数值/字符型）
      • 辅助工具：描述性统计表格
    • 步骤2：查看数据统计信息
      • 数据等级：定类，定序，定距，定比
      • 统计维度：统计量、变量分布
  • 数据清理前置思考
    • 数据存储形式
    • 数据属性
    • 数据等级
    • 适配图表类型
      • 子主题
• 第三节 特征增长：清洗数据
  • 目的
    • 清洗和常规化数据，将数据转化为机器学习模型训练流程可使用的格式
  • 意义
    • 识别有问题的区域，并确定哪种修复方法最有效（同时补充了常见数据问题类型：不属于同一量纲、信息冗余、定性特征不能直接使用、存在缺失值、数据需要变换、数据有偏移等）
  • 处理方法
    • 缺失值处理、异常值处理、异常值识别 类别变量编码：独热编码（One-hot Encoding）、序号编码（Ordinal Encoding）、标签编码（Label Encoding） 特征缩放、连续特征分箱
• 第四节 特征构造生成新数据
  • 核心原因（定义）
    • 从原始数据中构造新特征，在机器学习或统计学中又称为 “变量选择、属性选择或变量子集选择”，是在模型构建中选择相关特征并构成特征子集的过程。
  • 数值特征的简单变换方式
    • 针对单一特征列的变换操作，包括： 单一特征乘 / 加一个常数； 单变量变换（如对数变换）； 线性组合（Linear Combination）； 多项式特征（polynomial feature）； 比例特征（ratio feature）。
• 第五节 特征选择：筛选属性
  • 使用的特征变量（筛选依据）
    • 特征是否发散：若特征方差接近0（样本在该特征上无差异），则对样本区分无作用；
    • 特征与目标的相关性：与目标相关性高的特征应优先选择。
  • 方法（筛选技术)
    • filter（过滤法）：按发散性/相关性给特征评分，通过阈值/排名选特征
    • 方差选择法：计算特征方差，选择方差大于阈值的特征；
    • 相关系数法：计算特征与目标值的相关系数及P值；
    • 卡方检验：验证定性自变量与定性因变量的相关性，通过样本频数的观察值与期望值差距构建统计量。
• 第六节 特征转换：数据降维
  • 主成分分析法（无监督的降维方法）
    • 映射目标：让映射后的样本具有最大的发散性
    • 适用场景：可用于数据预处理、可视化、特征选择以及去除数据中的噪音
      • 子主题
    • 主要目标：通过线性变换将高维数据投影成低维空间，同时最大程度地保留原始数据的方差
    • from sklearn.decomposition import PCA from sklearn.datasets import load_iris import matplotlib.pyplot as plt # 加载示例数据库 iris = load_iris() X, y = iris.data, iris.target # 创建PCA模型，降维到2维 pca = PCA(n_components=2) # 拟合模型 X_pca = pca.fit_transform(X) # 打印投影后的数据 print("PCA Projection:") print(X_pca) # 绘制投影后的数据 plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y) plt.xlabel('PCA Component 1') plt.ylabel('PCA Component 2') plt.title('PCA Projection of Iris Dataset') plt.show()
  • 线性判别分析法（有监督的降维方法）
    • 映射目标：为了让映射后的样本有很好的分类性能
    • 适用场景：可用于解决分类问题，但也可以用于数据压缩和特征选择
    • 主要目标：找到一个线性变换，将多维数据投影到低维空间，以最大化同一类别数据点的散布（易于实现数据分类）
    • from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.datasets import load_iris import matplotlib.pyplot as plt # 加载示例数据库 # 修正：变量名应为iris，不是irs iris = load_iris() X, y = iris.data, iris.target # 修正：变量名统一使用X和y # 创建LDA模型，降维到2维 lda = LinearDiscriminantAnalysis(n_components=2) # 拟合模型 # LDA需要同时传入特征X和标签y X_lda = lda.fit_transform(X, y) # 打印投影后的数据 print("LDA Projection:") # 修正：应该是LDA，不是DA print(X_lda) # 绘制投影后的数据 plt.scatter(X_lda[:, 0], X_lda[:, 1], c=y) plt.xlabel('LDA Component 1') plt.ylabel('LDA Component 2') plt.title('LDA Projection of Iris Dataset') plt.show()
  • 本质是要将原始样本映射到更低维度的样本空间