统计学第11章一元线性回归

从一组样本数据出发，确定变量之间的数学关系式；利用所求的关系式，根据一个或几个变量的取值来估计或预测另一个特定变量的取值，并给出这种估计或预测的可靠程度。

一元线性回归

• 变量间关系的度量
  • 变量间的关系
    • 相关关系：变量间存在的不确定的数量关系
      • 特点：一个变量的取值不能由另一个变量唯一确定，当变量x取某个值时，变量y的取值可能有几个。
    • 函数关系：一一对应的确定关系
  • 相关关系的描述与测度
    • 进行相关分析时
      • 1、首先需绘制散点图来判断变量之间的关系形态
      • 2、若是线性关系，则可以利用相关系数来测度两个变量之间的关系强度
      • 3、对相关系数进行显著性检验，以判断样本所反映的关系能否代表两个变量总体上的关系
    • 散点图
      • 正相关：若两个变量的变动方向相同，一个变量的数值增加，另一个变量的数值也随之增加；或一个变量的数值减少，另一个变量的数值也随之减少。
    • 相关系数
      • 是根据样本数据计算的度量两个变量之间线性关系强度的统计量
      • 样本相关系数
      • 性质
        • 1、r的取值范围[-1,1]
          • r=+1,表明x，y之间为完全的正线性相关关系
          • r=-1，表明x，y之间为完全的负线性相关关系
          • |r|=1时，y的取值完全依赖于x，二者即为函数关系
          • 0＜r≤1，表明x，y之间存在正线性相关关系
          • r=0，y的取值与x无关，二者不存在线性相关系
          • 若-1≤r＜0，表明x，y之间存在负线性相关关系
        • 2、r具有对称性。
          • x与y之间的相关系数rxy和y与x的相关系数ryx相等
        • 3、r的数值大小与x和y的原点及尺度无关
          • 改变x和y的数据原点及计量尺度，并不改变r的数值大小
        • 4、r仅仅是x与y之间线性关系的一个度量，不能用于描述非线性关系
          • r=0或很小时，只表示两个变量之间不存在线性相关关系，不能说明变量间没有任何关系，它们之间可能存在非线性相关关系。不能轻易得出两个变量之间不存在相关关系的结论
        • 5、r虽然是两个变量之间的线性关系的一个度量，却不意味着x与y一定有因果关系
          • |r|≥0.8时，高度相关
          • 0.5≤|r|＜0.8，中度相关
          • 0.3≤|r|＜0.5，低度相关
          • |r|＜0.3，两个变量间相关程度极弱，视为不相关
  • 相关关系的显著性检验
    • 第1步：提出假设H0：ρ=0；H1：ρ≠0
    • 第2步：计算检验的统计量
    • 第3步：进行决策
      • 若|t|＞ta/2，则拒绝原假设：表明总体的两个变量之间存在显著的线性关系
• 一元线性回归
  • 回归分析主要解决的问题
    • 从一组样本数据出发，确定变量之间的数学关系式
    • 对这些关系式的可信程度进行各种统计检验
    • 利用所求的关系式，根据一个或几个变量的取值来估计或预测另一个特定变量的取值，并给出这种估计或预测的可靠程度
  • 一元线性回归模型
    • 回归模型
      • 因变量;在回归分析中，被预测或被解释的变量
      • 自变量：用来预测或解释因变量的一个或多个变量
      • 回归模型：描述因变量y如何依赖于自变量x和误差项e的方程称为回归模型
      • 模型假定
        • i. 因变量y与自变量x之间具有线性关系
        • ii. 在重复抽样中，自变量x的取值是固定的，即假定x是非随机的
        • iii. 零均值：E（e）=0，误差项是一个期望值为0的随机变量
        • iv. 同方差：对于所有的x值，e的方差都相同
        • v. 误差项e是一个服从正态分布的随机变量，且独立
    • 回归方程
    • 估计的回归方程
      • b1^是直线的斜率，表示x每变动一个单位时，y的平均变动值
  • 参数的最小二乘估计
    • 定义：通过使因变量的观测值yi与估计值yi^之间的离差平方和达到最小来估计b0和b1的方法
    • 公式：
  • 回归直线的拟合优度
    • 回归直线与各个观测点的接近程度称为回归直线对数据的拟合优度
    • 判定系数
    • 估计标准误差
      • 含义：就是度量各实际观测点在直线周围的散布状况的一个统计量，是均方残差（MSE）的平方根，用se表示
  • 显著性检验
    • 线性关系检验F
    • 回归系数的检验t
• 利用回归方程进行预测
  • 点估计
  • 区间估计
• 残差分析
  • 残差与残差图
    • 残差：是因变量的观测值yi与根据估计的回归方程求出的预测值yi^之差，用e表示。反映了用估计的回归方程去预测yi而引起的误差
  • 标准化残差
    • 定义：是残差除以它的标准差后得到的数值，也称pearson残差/半学生化残差，用Ze表示
    • 公式：
    • se是残差的标准差估计
• 也称线性相关系数/pearson相关系数