《现代心理与教育统计学》线性回归笔记

本张思维导图详细的归纳了线性回归的概述、意愿线性回归方程的建立、检验及应用等内容知识，图文详备，可双击公式部分打开公式编辑器查看哦！

线性回归

• 回归分析概述
  • 回归分析的含义
    • 用一定模型来表述变量相关关系的方法称为回归分析
  • 相关分析与回归分析的关系
    • 联系
      • 均为研究及度量两个或两个以上变量之间关系的方法
      • 相关系数和一元线性回归系数具有联系，其公式是
      • 相关系数的平方就是一元线性回归中的决定系数，可解释两变量共变的比例
    • 区别
      • 回归分析是以数学方式表示变量间的关系，而相关分析则是检验或度量这些关系的密切程度
      • 只有在相关基础上，才能进行回归分析
  • 回归模型
    • 回归的分类
      • 线性回归、非线性回归
      • 简单回归、多重回归
      • 一元线性回归是指只有一个自变量的线性回归，对具有线性关系的两个变量，回归的目的首先是找出因变量（一般记为Y）关于自变量（一般记为X）的定量关系
      • • a表示该直线在Y轴的截距
        • b表示该直线的斜率
        • X为自变量，通常是研究者事先选定的数值
        • 对应于X对Y的估计值
  • 线性回归的基本假设
    • 线性关系假设
      • X于Y在总体上具有线性关系（相关系数不为0）
    • 正态性假设
      • 回归分析中的Y服从正态分布
    • 独立性假设
      • 与某一个X值对应的一组Y值和与另一个X值对应的一组Y值之间没有关系，彼此独立
      • 误差项独立，不同的X所产生的误差之间应相互独立，无自相关
    • 误差等分散性假设
      • 特定X水平的误差，呈随机化的常态分配且方差齐性
• 一元线性回归方程的建立、检验及应用
  • 回归方差建立方法
    • 平均数法
      • 将n对数据按奇偶顺序分为两组，然后分别代入设定的回归方程求和，将结果联立解方程组
    • 最小二乘法
      • 定义
        • 就是如果散点图中每一点沿Y轴方向到直线的距离的平方和最小，就是使误差的平方和最小，则在所有直线中这条直线的代表性是最好的，它的表达式就是所要求的回归方程
      • 原理
        • 设方程
        • 每一点到直线沿Y轴方向的距离平方和为
        • 求回归方程就是求当该公式达到最小时a和b的值，而要是公式为最小，只需分别对a和b求偏导数，并令其等于零
        • 经整理，并省略X与Y字母的下标，上面两式分别写成
        • 两边同时除以N，得
  • 回归系数与相关系数的关系
    • 相关系数得基本公式为
      • Y为因变量，X为自变量
    • 因此
    • 同理
    • 相关系数时两个回归系数得几何平均数
  • 一元线性回归方程的检验
    • 定义
      • 对求得的回归方程进行显著性检验，看是否真实地反映了变量间的线性关系
    • 回归模型的有效性检验
      • 回归模型的有效性检验时对求得的回归方程进行显著性检验，看是否真实地反映了变量间的线性关系
      • 方差分析法
        • 求平方和与自由度
          • • 即：总平方和=误差平方和+回归平方和
          • ——所有Y值得总平方和
          • ——由回归直线表示得线性关系解释得那部分离差平方和
          • ——回归直线无法解释得那个离差平方和（误差平方和）
          • ——回归方差效果得好坏取决于回归平方和在总平方和中所占的比例
        • 求均方
        • F检验
    • 回归系数b的显著性检验
      • 基本思想
        • 对于样本的回归系数b来说，是否抽自一个回归系数
        • 若b与贝塔=0之间无显著差异，其差异主要是抽样误差，说明b是来自贝塔=0的总体，因此，X与Y之间不存在线性关系
        • 反之，则X与Y之间存在线性关系
      • 估计误差标准差
      • 回归系数的标准误
      • 检验公式（回归系数的显著性检验统计量）
        • 设总体回归系数为0，使用t检验
    • 测定系数（决定系数、拟合优度）
      • ——回归方程效果的好坏取决于回归平方和在总平方和中所占的比例
      • 这个比例达到1，则表明此时Y的变异完全由X的变异来解释，没有误差
      • 这个比例若为0，则说明Y的变异与X无关，回归方程无效
  • 一元线性回归方程的应用
    • 预测或估计
    • 真值的预测区间
      • 将已知变量值作为自变量代入回归方程而推算出另一个变量的估计值及置信区间
      • 预测区间的标准误
      • 真值得预测区间
        • 当N较大时，预测区间近似为
      • 其中t的自由度为n-2，
    • 一元线性回归分析的综合运用
      • 将成对资料绘制散点图，从散点图中点子的分布形状判断X和Y是否有线性关系
      • 建立回归模型
      • 回归方程显著性检验
      • 计算回归估计标准误差
      • 根据建立的回归模型进行预测，估计真值预测区间
• 可化为一元线性回归的曲线方程
  • 当变量之间的关系不是线性的，而是非线性（曲线）的关系时，一个基本思路就是设法将非线性关系线性化，然后用线性回归模型进行处理。可化为一元线性回归的曲线模型主要有多项式模型、指数模型、幂函数模型、对数模型和成长曲线模型