02线性回归.docx

02线性回归
D
2
3
4
否则，我们可将每对观察值在直角坐标系中描述出它的相应的点，这种图称为散点图。散点图可以帮助我们初略地看出的形式。
例1 为研究某一化学反应过程中，温度对产品得率的影响，测得数据如下。
温度
100
110
120
130
140
150
160
170
180
190
得率
45
51
54
61
66
70
74
78
85
89
这里自变量是普通变量， 是随机变量。画出散点图如图9-2所示。由图大致看出具有线性函数的形式。
5
图9-2
设关于的回归为。利用样本来估计的问题称为求关于的回归问题。特别，若为线性函数：，此时估计的问题称为求一元线性回归问题。本节我们只讨论这个问题。
我们假定对于（在某个区间内）的每一个值有
，
其中及都是不依赖于的未知参数。对作这样的正态假设，相当于假设
， （）
其中未知参数及都不依赖于。（）式称为一元线性回归模型。
如果由样本得到（）式中的估计，则对于给定的，我们取做为
的估计。方程
称为关于的线性回归方程或回归方程，其图形称为
7
回归直线。
思考：
回归模型与回归方程有何异同？
（二）的估计 取的个不全相同的值作独立试验，得到样本
。由（）式，得
，，各相互独立。 （）
于是，。且由的独立性，知的的联合密度为
（）
现用极大似然估计法来估计未知参数，。对于任意一组观察值，（）式就是样本的似然函数。显然，要取最大值，只要（）式右端方括弧中的平方和部分为最小，即只需函数
7
（）
取最小值。
注意：
如果不是正态变量，则直接用（）式估计未知参数，，使得的观察值与偏差的平方和为最小。这种方法叫最小二乘法。它是求经验公式的一个常用方法。若是正态变量，则最小二乘法与极大似然估计法给出相同的结果。
取分别关于，的偏导数，并令它们等于零：
（）
得方程组
（）
（）式称为正规方程组。为了和多元线性回归结合，设样本为
8
则正规方程组也可以表示为：
若用矩阵表示，则
那么

正规方程组可表示为
由于不全相同，正规方程组的系数行列式
即
9
故（）式有唯一的一组解。解得的极大似然估计为
（）
于是，所求的线性回归方程为
（）
若将代入上式，则线性回归方程变为
（）
（）表明，对于样本观测值，回归直线通过散点图的几何中心。
今后我们将视方便而使用（）或（）。
为了计算上的方便，我们引入下述记号：
10