线性建模

机器学习之线性建模知识总结，包括建立模型步骤、线性回归、广义线性回归、模型验证与评价等等。

线性建模

• 建立模型步骤
  • 定义损失函数
    • 平方目的保证正号,t是实际值
    • 矩阵化损失函数
  • 建立机器学习模型
    • 求最优的w0，w1使得平均损失L达到最小
  • 模型求解
    • 计算损失函数L对wo和w的偏导数，并令导数为0，可得出损失最小值时的两个估计参数wo和w1
  • 模型预测
• 线性回归
  • 本质问题
    • 推断属性变量（自 变量）与响应变量（因变量）之间的函数关系
      • 分为单属性和多属性问题
  • 线性回归表达式、
    • • 注意X的表达式
  • 预测表达式
  • 多元线性回归
    • • 矩阵化表达与单元线性线性回归完全相同
    • 如果X中的数值很大，需要对属性值进行归一化处理便于求解和计算
      • 目的是为了充分考虑各个属性对最终结果的影响
    • 常数项对函数值影响不显著时，常数项可以省略
  • 超定问题
    • 样本点数大于变量的数目，对于这类问题，解不存在，但存在近似解。最小二乘法可以解决超定问题，获得最佳近似解N>d
  • 欠定问题
    • N<d,样本点数少于变量数目，即X不满秩，因此有无数解；计算(XTX)-1会产生较大误差，变成一个不适定问题，模型缺乏稳定性
  • 总结
    • 优点
      • 能够解决超定问题
    • 缺点
      • 不适合解决欠定问题
      • 假设模型为线性模型
• 广义线性回归
  • 意义
    • 线性回归的假设基础，线性模型，往往与实际差距过大
      • 广义线性能够克服这个问题
    • 线性回归求解简单快速
    • 将线性模型进行扩展：线性——非线性
    • 沿用了线性回归的求解方法
  • 模型与求解
    • • 非线性函数
    • • 损失函数，要求最小化
    • • 最优解表达式
  • 总结
    • hw(x)对于参数w来说是线性模型，但并不意味着， hw(x)是关于输入x的线性函数，比如hw(x) =wx2。(多项式回归)
• 模型验证与评价
  • 交叉验证
    • 验证模型泛化能力的训练方法
      • 泛化能力：验证模型的好坏，需要新的样本进行测试，测试准确率越高，泛化能力越强，某种程度上，泛化和回归是相互矛盾的
    • K折交叉验证
      • 将数据集分为相同数量k份，每份数据作测试集，其余k-1份作为训练集
        • 执行k次测试作为最后的模型精度
    • 留一法
      • 当样本数量N等于K时，K折交叉验证退化为了留一法
    • 策略
      • 将整个数据集分成3个独立的部分：训练集、验证集、测试集
  • 模型阶数对回归的影响
    • 过高泛化能力差，回归非常好，导致过拟合，新测试样本预测误差很大
      • 参数过多，模型偏向于记忆，而非推理
        • 过拟合的问题更加常见
    • 过低导致欠拟合
      • 欠拟合:训练样本的预测误差很大
    • 参数越少，阶数越低，还能保证不过拟合业不欠拟合，模型越简单越好
  • 防止过拟合和欠拟合的交叉验证策略
    • 将整个数据集分成三个独立部分
      • 训练集:用于训练某种假设
      • 验证集:用于检验假设的可靠性，并进一步修正模型
      • 测试集:用于检验最终模型假设的性能
    • 采用随机分割，执行K折交叉验证N此，每次测试集的准确率平均值为最终模型的性能评价
  • 训练样本的数量的影响
    • 越多模式准确度越高
  • 模型复杂度
    • 不能过于复杂，也不是不够复杂，复杂度要恰好，前者过拟合，后者欠拟合
  • 模型评估
    • 样本错误率errorS
      • 在可见数据S(观察量)上的错误率:针对的是真实的样本
        • 在训练样本上的错误率,服从二次分布
      • 均值
        • 方差
      • 可类比抛硬币问题出现正面的概率
    • 真实错误率errorD
      • 假设在分布为D的整个实例集合上的错误率
        • 类似于：有限次数下抛硬币出现正面的概率
    • 两者关系
      • • 说明真实的误差服从正态分布·
      • • r为错误个数，n为总数
        • 由于服从二次分布，因此均值和标准差满足
    • 例子

1，2，3，9概念

• 人工智能绪论(基础概念)
  • 基础层：只和大数据和运算力有关 技术层：各种杂七杂八的东西 应用层：就是实用的东西
    • 深度神经网络在自然语言处理，计算机视觉和为其上的效果最突出
  • 人工智能是由Alan Turing于图灵测试中提出
    • 机器学习的目标是理解和创造智能体
    • 人工智能是致力于让机器变得智能的活动，而智能就是使实体在其环境中有远见地、适当地实现功能性的能力。
    • 利用计算机来实现人工智能的方式，称为计算智能
    • 飞机和飞行器不是人工智能
  • 人工智能研究的范畴
    • 机器感知，机器学习，记忆，决策
  • 人工智能缘起
    • 感知机的提出，被称为人工智能胚胎
    • 之前的人工智能无法处理异或问题
    • 人工智能发展处于巅峰期原因：丰富的动态数据，高性能计算机，高效的机器学习
  • 人工智能最新发展难点
    • 自然语言处理
    • 图像视频理解
• 智能体(基础概念)
  • 智能体Agent定义
    • 一个自动执行的实体，通过传感器感知环境，通过执行器作用于坏境
    • 实现Agent 就是设计Agent程序，实现从感知—动作的映射
    • 利用传感器感知环境，然后进行机器学习，通过执行器作用于坏境
  • 智能体Agent设计
    • 考虑因素
      • 1.感知信息(传感器 2.行动(激励器 3.性能度量（人工设定 4.先验知识(人工设定)
        • 性能度量+先验知识——实际性能最大化
      • Agent应当具有进化的能力，只有与学习相结合，才能设计适应不同环境的agent
    • 步骤
      • 1任务环境：1.性能度量 2.环境 3.执行器 4.传感器
        • 2.Agent任务环境的性质： 单Agent强调个体与环境之间的关联 多Agents是以某种竞争或合作的形式存在 确定或者未知；静态或者动态；已知或者未知
          • 3.Agent内部工作方式 Agent=平台(体系结构）+算法(程序）
  • 智能体Agent分类
    • 简单反射Agent
    • 基于模型的反射Agent
    • 基于目标的Agent
    • 基于效用的Agent
• 数学基础
  • 求导法则
  • 常用公式
    • 总结就是：对X求导，左右两边都要转置，对XT求导，左右两边交换位置即可
• 集群智能仿生
  • 群体智能
    • 定义
      • 无智能个体，通过合作表现处智能行为的特性，在无集中控制，而且不提供全局模型的前提下，为寻找最优方案或最优解提供基础
    • 特点
      • 个体行为很简单，但协同工作时，却能突显复杂的智能行为特征
    • 引入
      • 对于一些有过多的局部解，无法利用极值理论求解的问题，可以利用智能仿生算法
  • 遗传算法
    • 基本思想
      • 每一个物质个体的基本特征都在染色体中，其会被继承，后代又有不同于父代的特征，最终适应环境的个体特征会被保存
    • 对应关系
      • 个体的染色体
        • 模型解的集合
      • 适应度函数
        • 模型损失函数
      • 复制，交叉，变异
        • 解的迭代计算方法
      • 染色体固定
        • 迭代停止
      • 最后一代种群
        • 问题最优解
    • 主要算子构成
      • 选择算子，交叉算子，变异算子：用于产生新的一群染色体
    • 遗传算法的解的搜索过程
      • 编码
        • 生成初始种群
          • 适应度评价
            • 选择
              • 交叉(交叉和变异算子不唯一)
                • 变异
    • 控制参数
      • 基因串长度L（适中才行
      • 群体规模(始终才行
      • 交叉概率Pc(适中才行
      • 变异概率(适中才行
  • 粒子群算法
    • 基本思想
      • 鸟的飞行速度和位置分别抽象为解的搜索方向和当前最优解； 鸟群随机出发,通过适应度函数评价位置优劣,通过速度位置不断更新,直到搜索结束 每个粒子根据自身经验和群体知识积累，更新速度和位置。
    • 算法描述(参数设置
      • 第i个粒子的最优解
      • 第i个粒子解的搜索方向
      • 第i个粒子的自身经验
      • 群体知识
    • 参数分析
      • 先前速度+自身经验+群体知识
        • w=0，则粒子没有记忆性
        • c1=0，则粒子没有认知，收敛会更快，但是容易陷入局部最优
        • c2=0，粒子只有认知功能，无社会性，独立搜索，无群体智能，不可能最优解
    • 步骤
      • 1粒子速度的直接更新(包括先前速度+自身经验+群体知识的综合下更新) 2.粒子位置的更新
      • 具体实现
        • 1.初始化粒子群体 2.适应度评价 3.找到每个粒子的最佳位置pbest 4找全局最佳位置Gbest 5.利用公式更新粒子 6.验证收敛条件是否满足
  • 蚁群优化
    • 基本思想
      • 通过信息素传递信息，能够根据自身对环境的判断绕开障碍物找到最优路径
    • 实现
      • 选择机制
        • 信息素越多的路径被选中的概率越大
      • 信息素更新机制
        • 路径越短，信息素增加越快
      • 协作机制
        • 个体通过信息素进行交流