多重回归与自变量的筛选方法.pptx

该【多重回归与自变量的筛选方法 】是由【小屁孩】上传分享，文档一共【14】页，该文档可以免费在线阅读，需要了解更多关于【多重回归与自变量的筛选方法 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。第三章逐步回归与自变量筛选方法
一、问题的提出
,无意义的变量需剔除,由于变量间相关性,其他变量的显著性发生改变
,精选自变量——模型拟合要优、变量节俭
问题:如何选择自变量进入模型?
;?
多重回归与自变量的筛选方法共14页,您现在浏览的是第1页!
二、自变量筛选的标准与原则
、残差均方准则
当残差平方和(SSE)最小时,决定系数(R2)达到最大。
n为样本含量,R2为包含m个自变量的回归方程的决定系数。R2是随着变量数的增加而增大,而不受变量数的影响,
多重回归与自变量的筛选方法共14页,您现在浏览的是第2页!

n为样本含量,p表示进入模型的自变量个数,m表示所有自变量个数,
表示从全部m个自变量的回归模型中得到的残差均方。
在模型变量个数减少的过程中次值接近p+1时,模型最佳。如果
自变量中没有包含对Y有主要作用的变量,则不宜用方法选择自变量。

由Akaike在极大似然基础上提出的,Akaike信息量准则
AIC=n㏑(ssp)-2(p+1)
ssp表示选入模型p个变量的剩余平方和。AIC越小越好。
多重回归与自变量的筛选方法共14页,您现在浏览的是第3页!
(press统计量,预测精度)
Press=∑di2di2=Yi-X‘I
X‘i表示剔除了所要预测的第i观测值以后所剩余观测值所做估计。
(统计显著性准则)
统计显著性准则:把有统计学意义的变量选入模型,得到的回归模型不一定是最佳预测模型。
(stepwiseregression)

简单地对回归系数作检验,比较复杂;
用前述的几个指标是在所有子集回归中选最优回归模型,而逐步回归是每一步引入或剔除一个变量(其标准是F检验),直到引不进又剔不出为止,建立一个包含所有对因变量有影响的自变量。不是最优回归
多重回归与自变量的筛选方法共14页,您现在浏览的是第4页!
(1)向前法(forward),回归方程中的自变量是一个个进入的,最有统计学意义的变量最先进入,依此类推。即只进不出。
Y对每一个自变量作线性回归,计算各自变量的偏回归平方和,选取偏回归平方和最大者作F检验,有意义(P小)则引入…。
局限性:即后续变量的引入可能会使进入方程的自变量变得不重要。
(2) 向后法(backward),先将全部自变量选入方程,然后逐步剔除无统计学意义的自变量。即只出不进。偏回归平方和最小的变量,作F检验及相应的P值,决定它是否剔除(P大)。重复上述过程。
多重回归与自变量的筛选方法共14页,您现在浏览的是第5页!

首先确定引入与剔除变量的F统计量标准,~,值越小表示选取自变量的标准越严。
注意:引入变量的检验水准要小于或等于剔除变量的检验水准。

(选择不同的a多做几次,看哪个更合要求)。
,很难建立模型。
。

多重回归与自变量的筛选方法共14页,您现在浏览的是第6页!

多重回归与自变量的筛选方法共14页,您现在浏览的是第7页!
Procreg;
Modely=x1-x3/cpadjrsq;
Run;
Procstepwise;
Modely=x1-x3/stepwise(forwardbackward)slesls;
Run;
多重回归与自变量的筛选方法共14页,您现在浏览的是第8页!
模型中变量数
调整R2
Cp
变量
1

X1
1

X2
1

X3
2

X1X2
2

X1X3
2

X2X3
3

X1X2X3
多重回归与自变量的筛选方法共14页,您现在浏览的是第9页!
二、逐步回归法
方法:向前法(forward)、向后法(backward)、逐步法(stepwise)
每一步只引入或剔除一个自变量准则,是基于对偏回归平方和的F检验
多重回归与自变量的筛选方法共14页,您现在浏览的是第10页!