补充内容:多重共线性
“多重共线性”一词由R. Frisch 1934年提出,它原指模型的解释变量间存在线性关系。
rk (X 'X ) = rk (X ) = k .
解释变量不是完全线性相关的或接近完全线性相关的。
| rxi xj | ¹1, | rxi xj | 不近似等于1。
就模型中解释变量的关系而言,有三种可能。
(1)rxi xj = 0,解释变量间毫无线性关系,变量间相互正交。这时已不需要多重回归,每个参数bj都可以通过y对xj的一元回归来估计。
(2)| rxi xj | = 1,解释变量间完全共线性。此时模型参数将无法确定。直观地看,当两变量按同一方式变化时,要区别每个解释变量对被解释变量的影响程度就非常困难。
(3)0 < rxi xj < 1,解释变量间存在一定程度的线性关系。实际中常遇到的是这种情形。随着共线性程度的加强,对参数估计值的准确性、稳定性带来影响。因此我们关心的不是有无多重共线性,而是多重共线性的程度。
(1)经济变量在时间上有共同变化的趋势。如在经济上升时期,收入、消费、就业率等都增长,当经济处于收缩期,收入、消费、就业率等都下降或增长率下降。当这些变量同时做解释变量就会给模型带来多重共线性问题。
(2)解释变量与其滞后变量同作解释变量。
当| rxi xj | = 1,X为降秩矩阵,则(X 'X) -1不存在,= (X 'X)-1 X 'Y 不可计算。
(2)若| rxi xj | ¹1,即使| rxi xj | ®1,仍具有无偏性。
E() = E[(X 'X)-1 X 'Y ] = E[(X 'X) -1X '(Xb + u)] = b + (X 'X)-1X ' E(u) = b.
(3)当| rxi xj | ®1时,X 'X接近降秩矩阵,即| X 'X | ®0,Var() = s 2 (X 'X)-1变得很大。所以丧失有效性。以二解释变量线性模型为例,当rxi xj = ,Var()为rxi xj = 。当rxi xj = ,Var()为rxi xj = 。
(1)初步观察。当模型的拟合优度(可决系数,R 2)很高,F值很高,而每个回归参数估计值的方差Var(bj) 又非常大,即t值很低时,说明解释变量间存在多重共线性。
(2)Klein判别法。计算多重可决系数R2及解释变量间的简单相关系数rxi xj。若有某个
| rxi xj | > R2,则xi,xj间的多重共线性是有害的。
(3)此外还有其他一些检验方法,如主成分分析法等,很复杂。
,逐步回归法
(1)用被解释变量对每一个所考虑的解释变量做简单回归。(2)以对被解释变量贡献最大的解释变量所对应的回归方程为基础,以对被解释变量贡献大小为顺序逐个引入其余的解释变量。这个过程会出现3种情形。
①若新变量的引入改进了R2,且回归参数的t检验在统计上也是显著的,则该变量在模型中予以保留。②若新变量的引入未能改进R2,且对其他回归参数估计值的t检验也未带来什么影响,则认为该变量是多余的,应该舍弃
讲义08多重共线性 来自淘豆网www.taodocs.com转载请标明出处.