计算机视觉与深度学习

初步的计算机视觉与深度学习，线性分类器是一种线性映射，将输入图像特征映射为类别分数，希望你能大致了解。

计算机视觉与深度学习

• 图像分类任务
  • 分类器
    • 近邻分类器
    • 贝叶斯分类器
    • 线性分类器
    • 支持向量机分类器
    • 神经网络分类器
    • 随机森林
    • Adaboost
  • 损失函数
    • 0-1损失
    • 多类支持向量机损失
    • 交叉熵损失
    • L1损失
    • L2损失
  • 优化算法
    • 一阶方法
      • 梯度下降
      • 随机梯度下降
      • 小批量随机梯度下降
    • 二阶方法
      • 牛顿法
      • BFGS
      • L-BFGS
  • 训练过程
    • 数据集划分
    • 数据预处理
    • 数据增强
    • 欠拟合与过拟合
      • 减小运算复杂度
      • 使用权重正则项
      • 使用droput正则化
    • 超参数调整
    • 模型集成
• 线性分类器
  • 定义
    • 是一种线性映射，将输入图像特征映射为类别分数
  • 权值向量
    • 训练出来的平均值，在可视化后与类别相似
    • 看作一种模板，输入图像与模板的权值越高越像
  • 决策边界
    • 分数等于0的线就是决策面
  • 损失函数
    • 模型性能和模型参数之间的桥梁，指导模型参数优化
    • 是一种函数，用于度量给定分类器的预测值与真实值的不一致程度，其输出通常是一个非负实值
    • 其输出的非负实值可以作为反馈信号来对分类器参数进行调整，以降低当前实例对应的损失值，提升分类效果
    • 多类支持向量机损失
    • 正则项
      • 为了防止模型在训练集上过拟合
      • 超参数来控制正则项大小
      • 主要也是为了鼓励分散的权值，将所有的维度特征都用起来，而不是强烈依赖其中少数几维特征
  • 参数优化
    • 梯度下降
      • 数值梯度
        • 用于解析梯度的正确性校验
      • 解析梯度
        • 牛顿-莱布尼兹公式
        • 经常使用
    • 随机梯度下降
    • 小批量随机梯度下降算法
      • 迭代iteration
        • 每次迭代更新一次网络结构参数
      • 批次batch size
        • 一次迭代所使用的样本量
      • 轮数epoch
        • 表示过了一遍训练集中所有的样本
  • 数据集划分
    • 经典划分
      • 训练集
        • 用于给定的超参数时分类器参数的学习
      • 验证集
        • 用于选择超参数
      • 测试集
        • 评估泛化能力
    • k折交叉验证
  • 数据预处理
    • 去均值
      • 保证不会受到数据范围的影响
    • 归一化
      • 保证不会受到量纲的影响
    • 去相关
      • 使得数据去除相关性，一定程度上可以降维
      • 相关——数据的协方差矩阵是对角矩阵
    • 白化
      • 去相关的归一化