回归分析.doc.doc

第九章回归分析教学要求 ,利用线性回归方程进行预测。 。?本章重点:理解线性模型,回归模型的概念, 掌握线性模型中参数估计的最小二乘法估计法。?教学手段:讲练结合?课时分配: 6课时§ 一元线性回归回归分析是研究变量之间相关关系的一种统计推断法。例如,人的血压 y 与年龄 x 有关,这里 x 是一个普通变量, y 是随机变量。 Y与x之间的相依关系 f(x) 受随机误差?的干扰使之不能完全确定,故可设有: ???)(xfy ( ) 式中 f(x) 称作回归函数, ?为随机误差或随机干扰,它是一个分布与 x 无关的随机变量,我们常假定它是均值为 0的正态变量。为估计未知的回归函数 f(x) , 我们通过 n次独立观测,得x与y的n对实测数据(x i ,y i )i=1, ……,n,对 f(x) 作估计。实际中常遇到的是多个自变量的情形。例如在考察某化学反应时,发现反应速度 y 与催化剂用量 x 1, 反应温度 x 2, 所加压力 x 3 等等多种因素有关。这里 x 1 ,x 2,……都是可控制的普通变量,y是随机变量,y与诸 x i 间的依存关系受随机干扰和随机误差的影响,使之不能完全确定, 故可假设有: ???),,,( 21kxxxfy?() 这里?是不可观察的随机误差,它是分布与 x 1, ……,x k 无关的随机变量,一般设其均值为 0, 这里的多元函数 f(x 1,……,x k)称为回归函数, 为了估计未知的回归函数,同样可作 n次独立观察,基于观测值去估计 f(x 1,……,x k)。以下的讨论中我们总称自变量 x 1 ,x 2,……,x k为控制变量,y为响应变量,不难想象,如对回归函数 f(x 1,……,x k) 的形式不作任何假设,问题过于一般,将难以处理,所以本章将主要讨论 y 和控制变量 x 1 ,x 2, ……,x k 呈现线性相关关系的情形, 即假定 f(x 1,……,x k )=b 0 +b 1x 1+……+b kx k。并称由它确定的模型() (k=1) 及() 为线性回归模型, 对于线性回归模型, 估计回归函数 f(x 1,……,x k)就转化为估计系数 b 0、b i (i=1, ……,k) 。当线性回归模型只有一个控制变量时,称为一元线性回归模型,有多个控制变量时称为多元线性回归模型,本着由浅入深的原则,我们重点讨论一元的,在此基础上简单介绍多元的。§ 一元线性回归一、一元线性回归的数学模型前面我们曾提到,在一元线性回归中,有两个变量,其中 x是可观测、可控制的普通变量,常称它为自变量或控制变量,y为随机变量,常称其为因变量或响应变量。通过散点图或计算相关系数判定 y与x之间存在着显著的线性相关关系,即 y与x之间存在如下关系: y=a+bx+ ?() 通常认为?~N (0,σ 2) 且假设σ 2与x 无关。将观测数据(x i ,y i )(i=1 ,……, n)代入( )再注意样本为简单随机样本得: ),0(, ),,1( 2 1????N ni bxay n iii 独立同分布??????() 称() 或() (又称为数据结构式)所确定的模型为一元(正态)线性回归模型。对其进行统计分析称为一元线性回归分析。不难理解模型() 中 EY=a+bx ,若记 y=E(Y), 则 y=a+bx, 就是所谓的一元线性回归方程,其图象就是回归直线, b 为回归系数, a 称为回归常数,有时也通称a、b为回归系数。我们对一元线性回归模型主要讨论如下的三项问题: (1)对参数 a,b和σ 2 进行点估计,估计量 ba ?, ?称为样本回归系数或经验回归系数,而 xbay ?????称为经验回归直线方程,其图形相应地称为经验回归直线。(2)在模型() 下检验 y与x之间是否线性相关。(3)利用求得的经验回归直线,通过 x对y进行预测或控制。二、 a、b 的最小二乘估计、经验公式现讨论如何根据观测值(x i ,y i), i=1,2, ……,n 估计模型( )中回归函数 f(x)=a+bx 中的回归系数。采用最小二乘法,记平方和????? nt t bxayba 1 2)(),(Q () 找使 Q() 达到最小的 a、b作为其估计,即),( min ) ?, ?(babaQQ?为此,令?????????????????????0)(2 2 0][2 2 1 1nt ttt nt ttxbxay bxaya 2b Q 2 Q?化简得如教材所示的方程组(称为模型的正规方程) 解得??????????xbya L Lb x