线性回归

线性回归重点知识总结，包括线性回归模型的建立方法、回归模型的检验与评估、回归方程的应用三部分内容。

线性回归

• 线性回归模型的建立方法
  • 回归分析与相关分析的关系
    • 用一定模型来表述变量相关关系的方法成为回归分析
    • 从广义上说，相关分析包括回归分析。但二者有区别，回归分析是以数学方式表示变量间的关系，而相关分析则是检验或度量这些关系的密切程度，两者相辅相成。
  • 线性回归的基本假设
    • 线性关系假设：X与Y在总体上具有线性关系
    • 正态性假设：正态性假设指回归分析中的Y服从正态分布
    • 独立性假设
      • 与某一个X值对应的一组Y值和另一个X值对应的一组Y之间没有关系，彼此独立。
      • 误差项独立，不同的X所产生的误差之间应相互独立，无自相关
    • 误差等分散性假设：特定X水平的误差，除了应呈随机化的常态分配，其变异量也应相等，称为误差等分散性假设。
      • 
  • 回归模型与回归系数
    • 用来表达变量之间规律的数学模型称为回归模型
    • 回归模型的分类
      • 线性回归模型、非线性回归模型
      • 简单回归模型、多重回归模型
      • 一元线性回归是指只有一个自变量的线性回归，对具有线性关系的两个变量，回归的首要目的是找出原因（一般记为Y）关于自变量（一般记为X）的定量关系。
    • 一元线性回归方程
      • Y变量的估计值
      • a是截距
      • b是斜率
    • 子主题
  • 一元线性回归模型建立方法
    • 平均数估计法
    • 最小二乘法
      • 定义：最小二乘法，就是如果散点图中每一点沿Y轴方向到直线的距离的平方和最小，就是使误差的平方和最小，则在所有直线中这条直线的代表性是最好的，它的表达式就是所要求的回归方程。
      • 原理
        • 设方程
        • 每一点到直线沿Y轴方向的距离平方和为
        • 求回归方程就是求当该公式达到最小值时a和b的值，而要是公式为最小，只需分别对a和b求偏导数，令其为零。即
        • 
  • 回归系数与相关系数的关系
    • 
    • 
• 回归模型的检验与评估
  • 回归模型的有效性检验
    • 回归模型的有效性检验，就是对求得的回归方程进行显著性检验，看看是否真实地反映了变量间的线性关系
    • 方法
      • 方差分析法
        • 总平方和 = 误差平方和 + 回归平方和
          • 希望误差变异小，希望回归变异大
          • 回归平方和的公式推导
          • SST ®所有Y值的总平方和
          • SSR ®由回归直线表示的线性 关系解释的那部分离差平方和
          • SSE ®回归直线无法解释的那个离差平方和。
          • 回归方程效果的好坏取决于回归平方和中所占的比例，即
        • 自由度
          • 回归自由度dfR=1
          • 总变异自由度dfT=n-1
          • 误差变异自由度dfE=n-2
      • 检验回归系数b是否有效，b¹0
      • 目测法（观察R2 ，即决定系数）
  • 回归系数的显著性检验
    • 回归系数检验的基本思想
      • 对样本的回归系数b来说，是否抽自一个回归系数b=0的总体。若b与b=0之间无显著差异，其差异主要是抽样误差，说明b来自b=0总体，因此X与Y之间不存在线性关系，反之，则X与Y之间存在线性关系。
    • 回归系数的检验采用t检验法
      • 
    • 回归系数的标准误
      • 
  • *决定系数
    • 在回归方程的方差分析中曾指出，回归平方和对总体平方和的贡献越大，说明回归方程越显著，因而回归平方和在总平方和中所占的比例是评价回归效果的一个指标。
    • 回归平方和在总体平方和中所占的比例越大，回归效果越好，若这个比例达到1，则表明此时Y的变异完全由X的变异来解释，没有误差。若为0，则说明Y的变异与X无关，回归方程无效。
    • 
  • 真值的预测区间
    • 预测是将已知变量值作为自变量代入相应的回归方程而推算出另一个变量的估计值及置信区间统计方法
    • 预测的标准误
      • 
    • 预测区间
      • 
      • 
  • 回归分析与相关分析的综合应用
• 回归方程的应用
  • 具体步骤
    • 将资料回执散点图，从散点图中子的分布形状判Y和Y是否有线性关系
    • 建立回归模型
    • 回归方程显著性检验
    • 计算回归方程标准误差
    • 根据建立的回归模型进行预测，计算真值预测区间