02线性回归.docx

word
word
1 / 22
word
线性回归专题
一元线性回归
在客观世界中普遍存在着变量之间的关系。变量之间的关系一般来说可分为确定性的与非确定性的两种。确定性关系是指变量之间的关系可以用函数关系来表达。另一种）或（）。
为了计算上的方便，我们引入下述记号：
word
word
7 / 22
word
这样，的估计可写成
（）
（三）的估计，称为处的残差，平方和
称为残差平方和。
残差平方和服从分布：
（）
于是，即，
即知（）
是的无偏估计。
为了便于计算，我们将作如下的分解：
word
word
8 / 22
word
由（）式，得的一个分解式
（我们经常使用）
另外一个分解式是
（我们不常使用，因为公式中含有这个随机变量）。
（四）线性假设的显著性检验 在以上的讨论中，我们假定关于的回归具有形式，在处理实际问题时，是否为的线性函数，首先要根据有关专业知识和实践来判断，其次就要根据实际观察得到的数据运用假设检验的方法来判断。这就是说，求得的线性回归方程是否具有使用价值，一般来说，需要经过假设检验才能确定。若线性假设（）符合实际，则不应为零，因为若，则就不依赖于了。因此我们需要检验假设
（）
我们使用检验法来进行检验。我们有
又由（），（）知
word
word
9 / 22
word
且与独立。故有
即
（）
思考：
与上式有何异同？
提示：
若，则，即，且
提示完毕。
思考完毕。
当为真时，此时
word
word
10 / 22
word
且，即得的拒绝域为
，（此处为显著性水平。）
回顾：
三种重要分布为：
（一）设是来自总体的样本，则称统计量
服从自由度为的分布，记为。
（二）设，，并且与独立，则称随机变量
服从自由度为的分布，记为。
（三）设，且与独立，则称随机变量
服从自由度为的分布，记为。
回顾完毕。
请证明：
服从自由度为的分布的随机变量的平方服从分布。
word
word
11 / 22
word
证明：
在此题中，设，，且与独立，则根据分布的定义有
另外，根据分布的定义，有，且根据题意，与相互独立，又根据分布的定义，有
，而，即
证明完毕。
推论：
根据上述命题，有
所以
即的显著性水平为的拒绝域为。
推论完毕。
当假设被拒绝时，认为回归效果是显著的，反之，就认为回归效果不显著。回归效果不显著的原因可能有如下几种：
影响取值的，除了外，还有其它不可忽略的因素。
word
word
12 / 22
word
与的关系不是线性的，而是存在着其它的关系。
与不存在关系。
因此，当拒绝时，需要进一步地分析原因，分别处理。
（五）系数的置信区间 当回归效果显著时，我们常需要对系数作区间估计。事实上，可由（）式得到的置信度为的置信区间为
（）
（六）预测 回归方程的一个重要应用是，对于给定的点，可以以一定的置信度预测对应的单个观察值或其均值的取值围，即所谓预测区间。
1. 均值的预测区间
设是在处对随机变量的观察结果，它满足
，（）
容易知道，（）
我们可以取处的回归值作为的预测值。
命题：
（）
证明：
因为，所以
word
word
13 / 22
word
又因为（注意：与相互独立），所以
因为服从正态分布，也服从正态分布，而是它们的线性组合，所以也服从正态分布，其均值和方差分别如上所述。
即
即
证明完毕。
根据上述命题，容易得到均值的置信度为的置信区间为
当未知时，用来代替，此时有
word
word
14 / 22
word
2. 单个值的预测区间
因为是将要做的一次独立实验的结果，故相互独立。而根据
知是的线性组合。
因为，
所以是的线性组合。
word
word
15 / 22
word
故与相互独立。于是得
或
（）
备注：这是因为。
另一方面由（），（）式
且相互独立，故有
于是对于给定的置信度，有
若记。于是
word
word
16 / 22
word
区间
（）
称为单个观测值的置信度为的预测区间。
备注：
由此可见预测区间的意义与置信区间的意义相似，只是预测区间是对随机变量而言，置信区间是对未知参数而言。
由（）式知对于给定的样本观察值及