02线性回归.docx

02线性回归
2
线性回归专题
一元线性回归
在客观世界中普遍存在着变量之间的关系。变量之间的关系一般来说可分为确定性的与非确定性的两种。确定性关系是指变量之间的关系可以用函数关系来表达。另一种非确定性的其次就要根据实际观察得到的数据运用假设检验的方法来判断。这就是说，求得的线性回归方程是否具有使用价值，一般来说，需要经过假设检验才能确定。若线性假设（）符合实际，则不应为零，因为若，则就不依赖于了。因此我们需要检验假设
（）
我们使用检验法来进行检验。我们有
又由（），（）知
11
且与独立。故有
即
（）
思考：
与上式有何异同？
提示：
若，则，即，且
提示完毕。
思考完毕。
当为真时，此时
12
且，即得的拒绝域为
，（此处为显著性水平。）
回顾：
三种重要分布为：
（一）设是来自总体的样本，则称统计量
服从自由度为的分布，记为。
（二）设，，并且与独立，则称随机变量
服从自由度为的分布，记为。
（三）设，且与独立，则称随机变量
服从自由度为的分布，记为。
回顾完毕。
请证明：
服从自由度为的分布的随机变量的平方
13
服从分布。
证明：
在此题中，设，，且与独立，则根据分布的定义有
另外，根据分布的定义，有，且根据题意，与相互独立，又根据分布的定义，有
，而，即
证明完毕。
推论：
根据上述命题，有
所以
即的显著性水平为的拒绝域为。
推论完毕。
当假设被拒绝时，认为回归效果是显著的，反之，就认为回归效果不显著。回归效果不
14
显著的原因可能有如下几种：
影响取值的，除了外，还有其它不可忽略的因素。
与的关系不是线性的，而是存在着其它的关系。
与不存在关系。
因此，当拒绝时，需要进一步地分析原因，分别处理。
（五）系数的置信区间 当回归效果显著时，我们常需要对系数作区间估计。事实上，可由（）式得到的置信度为的置信区间为
（）
（六）预测 回归方程的一个重要应用是，对于给定的点，可以以一定的置信度预测对应的单个观察值或其均值的取值范围，即所谓预测区间。
1. 均值的预测区间
设是在处对随机变量的观察结果，它满足
15
， （）
容易知道， （）
我们可以取处的回归值作为的预测值。
命题：
（）
证明：
因为，所以
又因为（注意：与相互独立），所以
因为服从正态分布，也服从正态分布，而是
16
它们的线性组合，所以也服从正态分布，其均值和方差分别如上所述。
即
即
证明完毕。
根据上述命题，容易得到均值的置信度为的置信区间为
当未知时，用来代替，此时有
2. 单个值的预测区间
因为是将要做的一次独立实验的结果，故相互独立。而根据
17
知是的线性组合。
因为，
所以是的线性组合。
故与相互独立。于是得
或

18
（）
备注：这是因为。
另一方面由（），（）式
且相互独立，故有
于是对于给定的置信度，有
若记。于是
区间
（）
19
称为单个观测值的置信度为的预测区间。
备注：
由此可见预测区间的意义与置信区间的意义相似，只是预测区间是对随机变量而言，置信区间是对未知参数而言。
由（）式知对于给定的样本观察值及置信度而言，当愈靠近，预测区间的宽度就愈窄，预测就愈精密。
记
则上述预测区间可写成
或
对于给定的样本观察值，作出曲线
和
这两条曲线形成包含回归直线的带域，这一带域在处最窄。
多元线性回归
在实际问题中，随机变量往往与多个普通变量（）有关。对于自变量的一组确定的值，有它的分布。若的数学期望存
20
在，则它是的函数，记为或，它就是关于的回归。我们感兴趣的是是的线性函数的情况。在这里，仅讨论下述多元线性回归模型：
， （）
其中都是与无关的未知参数。
设
，
，
…
是一个样本。
由模型知，。且由
的独立性，知的联合密度为
我们用极大似然估计法来估计参数，对于任意一组观察值，上式就是样本的似然函数。显然，要