(独家)回归分析概述和实例.doc

(独家)回归分析概述和实例
§4 逐步回归分析
1、逐步回归分析的主要思路
在实际问题中, 人们总是希望从对因变量
有影响的诸多变量中选择一些变量作为自变量, 应用多
元回归分析的方法建立“最优”回归方程以便对因变量进行预报或控制。所谓“最优”回归方程, 主要是指希望在回归方程中包含所有对因变量
影响显著的自变量而不包含对
影响不显著的自变量的回归方
程。逐步回归分析正是根据这种原则提出来的一种回归分析方法。它的主要思路是在考虑的全部自变量中按其对
的作用大小, 显著程度大小或者说贡献大小, 由大到小地逐个引入回归方程, 而对那些对
作
用不显著的变量可能始终不被引人回归方程。另外, 己被引人回归方程的变量在引入新变量后也可能失去重要性, 而需要从回归方程中剔除出去。引人一个变量或者从回归方程中剔除一个变量都称为逐步回归的一步, 每一步都要进行著的变量已被剔除。
逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其偏回归平方和(即贡献), 然后选一个偏回归平方和最小的变量, 在预
先给定的
水平下进行显著性检验, 如果显著则该变量不必从回
检验, 以保证在引人新变量前回归方程中只含有对
影响显著的变量, 而不显
归方程中剔除, 这时方程中其它的几个变量也都不需要剔除(因为其它的几个变量的偏回归平方和都大于最小的一个更不需要剔除)。相反, 如果不显著, 则该变量要剔除, 然后按偏回归平方和由小到大地依次对方程中其它变量进行
检验。将对
影响不显著的变量全部剔除, 保留的都是显著的。接着再对未引人回
水平
归方程中的变量分别计算其偏回归平方和, 并选其中偏回归平方和最大的一个变量, 同样在给定
下作显著性检验, 如果显著则将该变量引入回归方程, 这一过程一直继续下去, 直到在回归方程中的变量都不能剔除而又无新变量可以引入时为止, 这时逐步回归过程结束。 2、逐步回归分析的主要计算步骤(1) 确定
检验值
检验水平, 以作为引人或剔除变量的标准。
水平
在进行逐步回归计算前要确定检验每个变量是否显若的
检验水平要根据具体问题的实际情况来定。一般地, 为使最终的回归
方程中包含较多的变量, 不宜取得过高, 即显著水平α不宜太小。
水平还与自由度有关, 因为在逐步回归过程中, 回归方程中
计算
所含的变量的个数不断在变化, 因此方差分析中的剩余自由度也总在变化, 为方便起见常按自由度。
为原始数据观测组数,
为估计可能选人回归方程的变量个数。例如
, 估计可能有2~
3个变量选入回归方程, 因此取自由度为15-3-1=11, 查
, 的临界值记
时, 临界值
分布表, 当α=, 自由度
,
, , 并要求
检验
,
, 并且在引入变量时, 自由度取
,
,
, 在剔除变量时自由度取
。
检验的临界值记
实际应用中常取(2) 逐步计算如果已计算((
步(包含=0), 且回归方程中已引入个变量, 则第(偏回归平方和)。
步的计算为:
)计算全部自变量的贡献
)在已引入的自变量中, 检查是否有需要剔除的不显著变量。这就要在已引入的变量中选取具有最小
值, 如果
, 表示该变量不显著, 应将其从回归方程中剔除, 计算转至()。
值的一个并计算其
如
果则不需要剔除变量, 这时则考虑从未引入的变量中选出具有最大, 则表示该变量显著, 应将其引人回归方程, 计算转至()。如果值的一个并计算值, 如, 表示已无变量可选入方程, 则逐步计算阶段结束, 计算转人(3)。
()剔除或引人一个变量后, 相关系数矩阵进行消去变换, 第
行下步计算。
由上所述, 逐步计算的每一步总是先考虑剔除变量, 仅当无剔除时才考虑引入变量。实际计算时, 开头几步可能都是引人变量, 其后的某几步也可能相继地剔除几个变量。当方程中已无变量可剔除, 且又无变量可引入方程时, 第二阶段逐步计算即告结束, 这时转入第三阶段。
(3) 其他计算, 主要是计算回归方程入选变量的系数、复相关系数及残差等统计量。
逐步回归选取变量是逐渐增加的。选取第个变量时仅要求与前面己选的-1个变量配合起来有最小的残差平方和, 因此最终选出的
计算结果表明, 这个重要变量有时可能不是使残差平方和最小的个, 但大量实际问题步计算结束。其后重复()~()再进个变量常常就是所有个变量的组合中具有最小残差平方和的那一个组合, 特别当不太大时更是如此, 这表明逐步回归是比较有效的方法。
引人回归方程的变量的个数与各变量贡献的显著性检验中所规定的检验