02线性回归.docx

02线性回归
02线性回归
02线性回归
线性回归专题
一元线性回归
在客观世界中广泛存在着变量之间的关系。 变量之间的关系一般来说可分为确立性的与
非确立性的两种
图 9-2
02线性回归
02线性回归
02线性回归
设 y

对于

x 的回归为

( x)

。利用样原来预计

( x)

的问题称为求

y 对于

x 的回归问题。 特别，
02线性回归
02线性回归
02线性回归
若 ( x)

为线性函数：

( x)

a bx ，此时预计

(x) 的问题称为求一元线性回归问题。本
02线性回归
02线性回归
02线性回归
节我们只议论这个问题。
我们假定对于 x （在某个区间内）的每一个值有
y ~ N (a bx, 2 ) ，
此中 a,b 及
2 都是不依靠于 x 的未知参数。对
y 作这样的正态假定，相当于假定
y a
bx，
~ N(0,
2 )
（ ）
此中未知参数 a, b及
2 都不依靠于 x 。（）式称为 一元线性回归模型 。
假如由样本获得（
?
?
?
?
做为
）式中 a, b 的预计 a? b
，则对于给定的
bx
,
x ，我们取 y
a
( x) a bx 的预计。方程
? ? ?
y a bx
02线性回归
02线性回归
02线性回归
称为 y 对于 x 的线性回归方程 或回归方程 ，其图形称为 回归直线 。
思虑：
回归模型与回归方程有何异同？
（二） a, b 的预计
取 x 的 n 个不全相同的值 x1 , x2 ,
, xn 作独立试验，获得样本
( x1 , y1 ), (x2 , y2 ),
, (xn , yn ) 。由（ ）式，得
yi
a bx i
i
， i ~ N (0,
2 ) ，各 i 互相独立。
（ ）
于是 yi
~ N (a bxi ,
2 ) ， i 1,2,
, n 。且由 y1, y2 ,
, yn 的独立性，知
y1 , y2 , , yn 的
的联合密度为
02线性回归
02线性回归
02线性回归
n
L
i 1

1
exp
1
2 ( yi a bxi ) 2
2
2
02线性回归
02线性回归
02线性回归
1
n
1
n
a bxi )2
exp
2
( yi
（ ）
2
2
i 1
现用极大似然预计法来预计未知参数
a ， b 。对于任意一组察看值
y1 , y2 , , yn ，（ ）式
就是样本的似然函数。明显，要
L 取最大值，只需（ ）式右端方括弧中的平方和部分为
最小，即只需函数
n
)2
Q (a, b)
( yi a
bxi
i
1
（ ）
取最小值。
注意：
假如 y 不是正态变量，则直接用（
）式预计未知参数 a ， b ，使得 y 的察看值 yi 与
bx i 误差的平方和 Q (a, b) 为最小。 这类方法叫 最小二乘法 。它是求经验公式的一个常用方法。若 y 是正态变量，则最小二乘法与极大似然预计法给出相同的结果。
取 Q 分别对于 a ， b 的偏导数，并令它们等于零：
Q
n
( yi
a bxi )
0
2
a
i 1
Q
n
a bxi ) xi
0
2 ( yi
b
i 1
（ ）