逻辑回归

这是一篇关于逻辑回归算法的思维导图，梳理了逻辑回归的基本原理、计算流程、损失函数以及常用的评估方法，有助于理解逻辑回归这一重要的机器学习算法。

逻辑回归

• 原理
  • 简介
    • 一种分类模型,把线性回归输出，输入到sigmoid函数中， 输出是(0,1)之间的值 逻辑回归虽然名字里带 “回归”，但它是分类算法（主要用于二分类）
  • 流程
    • 利用线性模型f(x)=w^Tx + b 根据特征的重要性计算出一个值
    • 再使用sigmoid函数将f(x)的输出映射为概率值(0-1)
    • 设置阈值(eg:0.5)，输出概率值大于0.5， 则将未知样本输出为1类
    • 否则输出为0类
  • 损失函数
    • 极大似然估计：让真实样本出现的概率最大，事件发生概率越大，似然越大，损失越小 概率都 < 1；连乘会越来越小，甚至下溢；乘法求导麻烦；所以我们取 对数，把乘法变加法 优化器习惯 最小化损失 取对数 + 加负号 = 我们平时用的 对数似然损失 / 交叉熵损失
    • 对数似然损失函数（损失函数的设计逻辑是：把 “真实类别概率越大越好” 转化为 “损失越小越好”）
    • 正样本预测结果尽可能接近于1 负样本预测结果接近于0
    • 对数似然损失（交叉熵损失）是逻辑回归的核心损失函数，用于量化 “预测概率与真实标签的差距”，损失越小模型效果越好；
• 评估方法
  • 准确率
    • 预测正确的样本数量/样本数量
  • 精确率
    • 预测为正样本的真实正样本数量/预测为正样本的样本数量， precision
  • 召回率
    • 预测为正样本的真实正样本数量/真实正样本的数量， recall
  • F1-Score
    • 2*precision*recall/(precision+recall)
  • ROC曲线和AUC指标
    • ROC曲线
      • 将模型在不同阀值下的表现以曲线的形式展现出来
    • AUC指标
      • ROC曲线的曲线下的面积（AUC）来衡量，AUC越大表示 分类器性能越好
      • 当AUC=0.5时，表示分类器的性能等同于随机猜测
      • 当AUC=1时，表示分类器的性能完美，能够完全正确地将正负例分类