信用卡欺诈概率预测

这是一篇关于信用卡欺诈概率预测的思维导图，通过思维导图的形式，详细概述了使用Python和多个机器学习库进行信用卡欺诈概率预测的过程。详细展示了从数据预处理、模型训练、特征重要性分析到结果可视化和模型评估的完整流程，旨在通过机器学习技术提高信用卡欺诈检测的准确性和效率。

信用卡欺诈概率预测

• - 导入库
• - pandas: 数据操作
• - numpy: 数值计算
• - seaborn: 数据可视化
• - matplotlib.pyplot: 图形绘制
• - sklearn.model_selection: 数据集划分
• - sklearn.preprocessing: 数据预处理
• - sklearn.compose: 预处理组合
• - sklearn.pipeline: 管道创建
• - sklearn.impute: 缺失值填补
• - sklearn.tree: 决策树模型
• - sklearn.ensemble: 集成方法（随机森林）
• - sklearn.metrics: 模型评估
• - 数据加载
• - 读取 CSV 文件
  • - data = pd.read_csv(train_data_path)
• - 目的：获取原始数据集
• - 数据清洗
• - 检查缺失值
  • - print(data.isnull().sum())
• - 目的：了解数据中缺失值的情况，准备处理
• - 特征编码
• - 定义特征 (X) 和目标 (y)
  • - X = data.drop('fraud', axis=1)
  • - y = data['fraud']
• - 目的：分离特征和目标变量，为模型训练做准备
• - 分割数据集为训练集和测试集
  • - X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
• - 目的：创建训练集和测试集，用于模型训练和评估
• - 数据预处理
• - 数值特征标准化
  • - numeric_features = X.columns
  • - numeric_transformer = Pipeline(steps=[
  • - ('imputer', SimpleImputer(strategy='median')),
  • - ('scaler', StandardScaler())])
• - 创建数据预处理管道
  • - preprocessor = ColumnTransformer(
  • - transformers=[
    • - ('num', numeric_transformer, numeric_features)])
• - 目的：处理数据中的缺失值和标准化数值特征，以提高模型性能
• - 模型训练和评估
• - 决策树模型
  • - 训练决策树模型
  • - dt_pipeline = Pipeline(steps=[('preprocessor', preprocessor),
    • - ('classifier', DecisionTreeClassifier(max_depth=10, random_state=42))])
  • - dt_pipeline.fit(X_train, y_train)
  • - 预测与评估
  • - y_pred_dt = dt_pipeline.predict(X_test)
  • - print(classification_report(y_test, y_pred_dt))
  • - print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred_dt))
  • - print("Accuracy:", accuracy_score(y_test, y_pred_dt))
  • - print("ROC AUC Score:", roc_auc_score(y_test, y_pred_dt))
  • - 目的：训练和评估决策树模型，了解其性能
• - 随机森林模型
  • - 训练随机森林模型
  • - rf_pipeline = Pipeline(steps=[('preprocessor', preprocessor),
    • - ('classifier', RandomForestClassifier(n_estimators=100, random_state=42))])
  • - rf_pipeline.fit(X_train, y_train)
  • - 预测与评估
  • - y_pred_rf = rf_pipeline.predict(X_test)
  • - print(classification_report(y_test, y_pred_rf))
  • - print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred_rf))
  • - print("Accuracy:", accuracy_score(y_test, y_pred_rf))
  • - print("ROC AUC Score:", roc_auc_score(y_test, y_pred_rf))
  • - 目的：训练和评估随机森林模型，了解其性能
• - 结果可视化
• - 特征重要性分析
  • - feature_importances = rf_pipeline.named_steps['classifier'].feature_importances_
  • - features = X.columns
  • - importance_df = pd.DataFrame({'Feature': features, 'Importance': feature_importances})
  • - importance_df = importance_df.sort_values('Importance', ascending=False)
  • - plt.figure(figsize=(12, 8))
  • - sns.barplot(x='Importance', y='Feature', data=importance_df)
  • - plt.title('Feature Importances')
  • - plt.show()
  • - 目的：通过可视化特征重要性，了解哪些特征对模型决策影响最大
• - 可视化决策树
  • - plt.figure(figsize=(20,10))
  • - plot_tree(dt_pipeline.named_steps['classifier'], filled=True, feature_names=X.columns, class_names=['Not Fraud', 'Fraud'])
  • - plt.title('Decision Tree')
  • - plt.show()
  • - 目的：通过可视化决策树，了解模型的决策路径
• - 概率预测结果可视化
  • - plt.figure(figsize=(10, 6))
  • - sns.distplot(y_pred_rf, kde=True, bins=30)
  • - plt.title('Distribution of Predicted Probabilities (Random Forest)')
  • - plt.xlabel('Predicted Probability of Fraud')
  • - plt.ylabel('Frequency')
  • - plt.show()
  • - 目的：通过可视化预测概率分布，了解模型预测结果的分布情况