2.2 一元线性回归.ppt

§ 一元线性回归模型的参数估计
一、一元线性回归模型的基本假设
二、参数的普通最小二乘估计(OLS)
三、参数估计的最大或然法(ML)
四、最小二乘估计量的性质
五、参数估计量的概率分布及随机干
扰项方差的估计
单方程计量经济学模型分为两大类:
线性模型和非线性模型
线性模型中,变量之间的关系呈线性关系
非线性模型中,变量之间的关系呈非线性关系
一元线性回归模型:只有一个解释变量
i=1,2,…,n
Y为被解释变量,X为解释变量,0与1为待估参数, 为随机干扰项
回归分析的主要目的是要通过样本回归函数(模型)SRF尽可能准确地估计总体回归函数(模型)PRF。
估计方法有多种,其种最广泛使用的是普通最小二乘法(ordinary least squares, OLS)。
为保证参数估计量具有良好的性质,通常对模型提出若干基本假设。
注:实际这些假设与所采用的估计方法紧密相关。
一、线性回归模型的基本假设
假设1、解释变量X是确定性变量,不是随机变量;
假设2、随机误差项具有零均值、同方差和不序列相关性:
E(i)=0 i=1,2, …,n
Var (i)=2 i=1,2, …,n
Cov(i, j)=0 i≠j i,j= 1,2, …,n
假设3、随机误差项与解释变量X之间不相关:
Cov(Xi, i)=0 i=1,2, …,n
假设4、服从零均值、同方差、零协方差的正态分布
i~N(0, 2 ) i=1,2, …,n
1、如果假设1、2满足,则假设3也满足;
2、如果假设4满足,则假设2也满足。
注意:
以上假设也称为线性回归模型的经典假设或高斯(Gauss)假设,满足该假设的线性回归模型,也称为经典线性回归模型(Classical Linear Regression Model, CLRM)。
另外,在进行模型回归时,还有两个暗含的假设:
假设5:随着样本容量的无限增加,解释变量X的样本方差趋于一有限常数。即
假设6:回归模型是正确设定的
假设5旨在排除时间序列数据出现持续上升或下降的变量作为解释变量,因为这类数据不仅使大样本统计推断变得无效,而且往往产生所谓的伪回归问题(spurious regression problem)。
假设6也被称为模型没有设定偏误(specification error)
二、参数的普通最小二乘估计(OLS)
给定一组样本观测值(Xi, Yi)(i=1,2,…n)要求样本回归函数尽可能好地拟合这组值.
普通最小二乘法(Ordinary least squares, OLS)给出的判断标准是:二者之差的平方和
最小。
方程组(*)称为正规方程组(normal equations)。
记
上述参数估计量可以写成:
称为OLS估计量的离差形式(deviation form)。
由于参数的估计结果是通过最小二乘法得到的,故称为普通最小二乘估计量(ordinary least squares estimators)。
顺便指出,记
则有
可得
(**)式也称为样本回归函数的离差形式。
(**)
注意:
在计量经济学中,往往以小写字母表示对均值的离差。