第十二章多重线性回归与相关

第十二章多重线性回归与相关卫生统计学，多重线性回归是研究一个连续性因变量和多个自变量之间的线性关系的统计学方法。

多重线性回归与相关

• 多重线性回归的概念以及统计描述
  • 研究一个连续性因变量和多个自变量之间的线性关系的统计学方法。
  • 基本目的：用一个以上的自变量X1,X2,…,Xp的数值估计反应变量Y的平均水平。
  • β0为常数项，也称截距； βj为自变量Xj的偏回归系数（partial regression coefficient）,表示当方程中其他自变量保持不变时，自变量变化一个单位，反映变量Y的平均值变化的单位数；
  • e则是除去p个自变量对Y影响后的随机误差，也称残差
  • 相应的由样本估计而得到的多重线性回归方程为：
  • 其中，Y为Xi（X1 ，X2 ，... Xp）时反应变量Y的总体平均值的估计值； b0和b1，b2，… bp为偏回归系数的估计值。 P个自变量都有各有计量单位，所以不能直接用普通偏回归系数的数值大小来比较方程中各个自变量对反应变量的影响大小。
  • 标准化偏相关系数：用标准化的数据进行回归模型拟合，得到标准化回归系数。标准化偏回归系数（没有单位）较大的自变量在数值上对反应变量Y的影响较大。
  • 回归参数估计
    • LINE（线性、独立、正态、等方差）
    • 最小二乘法来估计未知参数
    • 基本原理：利用收集到的因变量和自变量的一组数据，建立一个因变量关于自变量的线性函数模型，使得这个模型的理论值和观察值之间的离差平方之和尽可能地小。
    • 依靠统计软件SAS实现
• 多重线性回归的假设检验
  • 回归方程的检验
    • 目的：自变量的组合对反应变量的影响是否有统计学意义
    • 方差分析
      • 将应变量Y 的离差平方和分解成两部分：
      • 假设检验 H0:β1=β2=β3=β4=0 H1:总体偏回归系数不全为0
  • 偏回归系数的检验
    • 目的：每个自变量对反应变量的影响是否有统计学意义
    • t检验
      • 回归方程具有统计学意义时，检验某个总体偏回归系数是否等于0，以判断相应的变量对回归是否的确有贡献。
      • 假设检验：H0:βj=0 H1:βj≠0
      • Sbj为第j偏回归系数的标准误。
      • 这四个变量中，变量 X1 、X2和X4的偏回归系数在0.05概率水平具有统计学意义，而气湿(X3)对NO浓度的影响无统计学意义
  • 多重回归模型的注意事项
    • 1）多重共线性问题。
    • （2）解释变量间的交互作用。
    • （3）通径分析。
  • 多重线性回归的应用： 影响因素分析、估计与预测途
• 复相关系数与偏相关系数
  • 决定系数
    • 回归平方和在总平方和的百分比称为确定系数或决定系数(coefficient of determination) ，记为R2,用以反映线性回归模型能在多大程度上解释反应变量Y的变异性。
    • 取值范围为0≤R2≤1，越接近与1，说明样本数据越好的拟合了所选用的线性回归模型。
    • 说明用包含汽车流量、气温、气湿与风速这四个变量的回归方程可以解释交通点空气NO浓度变异性的78.74%
    • R2是联系多重回归与相关的纽带，反映回归模型拟合数据的优良程度。
  • 复相关系数
    • 复相关系数(multiple correlation coefficient) R,定义为决定系数的算术平方根
    • 表示变量Y与p个自变量线性相关的密切程度
    • R=0.8703，表示交通点空气NO浓度与汽车流量、气温、气湿与风速等四个变量的复相关系数为0.8703
  • 调整决定系数
    • 调整的R2(adjusted R-square) 随着回归方程的自变量的增加， R2值表现为只增加不减少(可能贡献极小)，这是负相关系数R2的缺点。
    • 一个好的模型尽可能用少的自变量或者更为简约的形式解释反应变量的变异性，这时用调整的R2
    • 较大的p会使调整值减小。
  • 偏相关系数
    • 一般地，扣除其他变量影响后，变量Y与X的相关，称为Y与X的偏相关系数（partial correlation coefficient ）。其计算可借助统计软件包完成。
    • 偏相关系数的假设检验等价于偏回归系数的假设检验
    • 子主题
• 自变量筛选
  • 为确保回归方程尽可能的包含对反应变量有较大贡献的自变量，而把贡献不大或可有可无的自变量排除在方程之外，这一过程称为自变量的筛选。
  • 筛选原则和标准
    • 残差平方和（SSE）缩小与确定系数（R2）增大
      • 从模型中剔除某一自变量后使SSE增加很多，该自变量对Y的作用大，不应剔除；反之，说明其对Y的作用很小而应该被剔除
      • 只适用与比较具有相同自变量个数的模型，而不适合自变量个数不同的子集之间的比较。
    • 残差均方(MSE)缩小与调整确定系数增大
      • MSE缩小的准则可以看作是在SSE缩小的准则基础上增加了(1/(n-p-1)) 的因子，该因子随模型中自变量个数p的增加而增加。其既考虑了自变量的作用，也考虑了自变量的个数。
      • 调整决定系数“越大越好”与MSE最小化完全等价。
  • 常用方法
    • 所有可能自变量子集选择
      • 某变量的选择准则，通过比较各个子集符合准则的程度，选出最优的回归最优子集回归——最优子集回归
      • 仅适合自变量个数不太多的情况
      • 事先指定出现在子集中的最小(或最大)自变量个数，然后在限定所有可能的自变量子集范围内实施“最优”子集选择。
    • 向前选择
      • 该方法从仅含常数项的模型开始，每次加一个变量到模型中，直到剩下的变量中再无一个能使其F值大于Fin值为止。这种选择自变量的方法基于残差均方最小的原则，不一定能保证最优
    • 后向选择
      • 向后剔除法(backward elimination)。首先建立包含所有p各自变量的全模型，每次循环剔除一个对模型贡献最可忽略的变量。如此反复，直到再没有任何变量的F值低于Fout为止。
    • 逐步选择
      • 在向前引入每一个新自变量之后都要重新对前已选入的自变量进行检查，以评价其有无继续保留在方程中的价值。为此引入和剔除交替进行，直到无具有统计学意义的新变量可以引入也无自变量可以剔除时为止。