3多元线性回归与最小二乘估计.doc

、最小二乘估计量和高斯—马尔可夫定理多元线性回归模型:yt=b0+b1xt1+b2xt2+…+bk-1xtk-1+ut,()其中yt是被解释变量(因变量),xtj是解释变量(自变量),ut是随机误差项,bi,i=0,1,…,k-1是回归参数(一般未知)。对经济问题的实际意义:yt与xtj存在线性关系,xtj,j=0,1,…,k-1,是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E(yt)=b0+b1xt1+b2xt2+…+bk-1xtk-1决定的k维空间平面。当给定一个样本(yt,xt1,xt2,…,xtk-1),t=1,2,…,T时,上述模型表示为y1=b0+b1x11+b2x12+…+bk-1x1k-1+u1,经济意义:xtj是yt的重要解释变量。y2=b0+b1x21+b2x22+…+bk-1x2k-1+u2,代数意义:yt与xtj存在线性关系。………..几何意义:yt表示一个多维平面。yT=b0+b1xT1+b2xT2+…+bk-1xTk-1+uT,()此时yt与xti已知,bj与ut未知。()Y=Xb+u,()为保证得到最优估计量,回归模型()应满足如下假定条件。假定⑴随机误差项ut是非自相关的,每一误差项都满足均值为零,方差s2相同且为有限值,即 E(u)=0=,Var(u)=E(')=s2I=s2假定⑵解释变量与误差项相互独立,即E(X'u)=0假定⑶解释变量之间线性无关。 rk(X'X)=rk(X)=k其中rk(×)表示矩阵的秩。假定⑷解释变量是非随机的,且当T→∞时T–1X'X→Q其中Q是一个有限值的非退化矩阵。最小二乘(OLS)法的原理是求残差(误差项的估计值)平方和最小。代数上是求极值问题。minS=(Y-X)'(Y-X)=Y'Y-'X'Y-Y'X+'X'X=Y'Y-2'X'Y+'X'X()因为Y'X是一个标量,因此有Y'X='X'Y。()的一阶条件为:=-2X'Y+2X'X=0()化简得X'Y=X'X因为(X'X)是一个非退化矩阵(见假定⑶),因此有=(X'X)-1X'Y()因为X的元素是非随机的,(X'X)-1X是一个常数矩阵,则是Y的线性组合,为线性估计量。求出,估计的回归模型写为Y=X+()其中=(…)'是b的估计值列向量,=(Y-X)称为残差列向量。因为=Y-X=Y-X(X'X)-1X'Y=[I-X(X'X)-1X']Y()因此也是Y的线性组合。的期望和方差是E()=E[(X'X)-1X'Y]=E[(X'X)-1X'(Xb+u)]=b+(X'X)-1X'E(u)=b()Var()=E[(–b)(–b)']=E[(X'X)-1X'uu'X(X'X)-1]=E[(X'X)-1X's2IX(X'X)-1]=s2(X'X)-1()高斯—马尔可夫定理:若前述假定条件成立,OLS估计量是最佳线性无偏估计量。具有无偏性。具有最小方差特性。具有一致性,渐近无偏性和渐近有效性。='/(T-k)()s2是s2的无偏估计量,E(s2)=s2。的估计的方差协方差矩阵是()=s2(X'X)-1()(多重可决系数)Y=X+=+()总平方和 SST==Y'Y-T,()其中是yt的样本平均数,定义为=。回归平方和为SSR=='-T()其中的定义同上。残差平方和为SSE==='()则有如下关系存在,SST=SSR+SSE() R2=()显然有0£R2£1。R2®1,拟合优度越好。,一般R2不下降,而是上升。为调整因自由度减小带来的损失,又定义调整的多重确定系数如下:=1-=1-()~N(0,s2I),则每个ut都服从正态分布。于是有Y~N(Xb,s2I)()因也是u的线性组合(),依据()和()有~N(b,s2(X'X)-1)(),自由度T-1也被分解为两部分,(T-1)=(k-1)+(T-k)()回归均方定义为MSR=,误差均方定义为MSE=='-T2k-1MSR=SSR/(k-1)误差SSE='T-kMSE=SSE/(T-k)总和SST=Y'Y-T2T-1H0:b1=b2=…=bk-1=0;H1:bj不全为零F==~F(k-1,T-k)()设检验水平为a,则检验规则是,若F£Fa(k-1,T-k),接受H0;若F>Fa(k-1,T-k),拒绝H0。0Fa