ch9回归分析及方差分析[统计学经典理论].doc

*第9章回归分析及方差分析
回归分析的概念
客观世界中普遍存在着变量之间的关系,大致可以分为两类:
变量间的关系
,,,.
以上的例子中,x通常称为自变量,,因变量Y的值还不能完全确定,,对应的随机变量Y的值虽不能完全确定,但Y的数学期望应随之确定,它是x的函数,记作,称为Y关于x的回归函数. 自变量x与因变量Y之间的关系可描述为模型:
, (1) 其中是随机误差,满足.
模型(1)中只有一个自变量,基于这个模型的统计分析称为一元回归分析. 若是x的线性函数,即, 模型(1)可化为:, (2)
其中是常数项,称为回归系数. 模型(2)称为一元线性回归模型,基于(2)的统计分析称为一元线性回归分析.
,用所获得的关于x和Y的观察值估计,讨论有关的假设检验与区间估计问题,并利用对于的估计进行预报等.
为了确定的形式可根据专业知识或经验,也可通过画散点图获得帮助.
对于变量作n次观察,得到n对观察值. 将每对观察值所对应的点在直角坐标系中描出,,. 若散点图如图1所示,则可将取为x的线性函数; 若散点图如2所示,.

图1 散点图Ⅰ图2 散点图Ⅱ
线性回归的应用
一元线性回归
本节考虑一元线性回归模型:, (1)
,. 称为误差方差,,,对于给定的x就可用作为的估计. 称为Y关于x的经验回归函数.
方程:, (2) 称为Y关于x的(经验)线性回归方程,或(经验)回归方程, 其图形称为(经验)回归直线.
在一元线性回归分析中主要解决三个问题:
(i) 对未知参数、和作点估计,由此获得回归方程;
(ii) 对回归系数作假设检验;
(iii) 对于自变量x的给定值,对相应的因变量Y的取值作预测.
一、和的估计及其性质
1. 和的最小二乘估计
对于自变量x和因变量y的n对观察值(这里要求不全相同),由式(1)知: , (3)
其中是对观察时的随机误差. 假设两两不相关且与(1)中的同分布,,. 把式(3)和关于的假设放在一起称为模型(3).
图1 最小二乘原理示意图

下面用最小二乘法求和的估计.
假设和的估计已经求出,记为和.
得到回归函数在点的估计:
,
称为回归值,也称为预测值.(实际上是
的估计).
另一方面,因变量Y的观察值也已获得,见图1. 当然希望它们之间的偏差,
.
记, (4) 使得, (5)