观测数据的分析与处理(6).ppt

观测数据的分析与处理
回归分析
回归分析
回归分析和主要解决的问题
一元线性回归
多元线性回归
主成分回归
偏最小二乘回归
岭回归
回归分析和主要解决的问题
关联方程是用以表达自变量和因变量之间的定量关系。
主要分为三大类:
[1] 从比较成熟的理论导出的明确关系,称为确定性方程。
[2] 根据测试取得的观测数据,用数理统计方法找出经验式,称为不确定性方程。
[3] 介于两者之间,先由近似理论引出关系方程的大体形式,再根据观测数据用统计方法确定方程式中的系数,称为半确定性方程。 
回归分析就是用来确定第二和第三类方程中系数值的一类统计方法。
一元线性回归
观测值的随机样本为:
一元线性回归方程的理想模型是:
——误差,遵循正态分布的随机变量
——样本容量
——当n无穷大时回归方程的系数,称为回归系数的期望值。由它们形成的是回归方程的理想式,说明自变量和因变量两个总体间的关系。
一元线性回归
当样本容量n为有限数时,得到回归方程的估计式:
通常就简称它为回归方程,其中
——回归系数的估计值,往往称为回归系数。
——因变量y估计值,也称为预报值,有:
——残差,也称余差,是对误差的估计值。
一元线性回归
由“最小二乘法”求回归系数,其原则为使残差:
的平方和,即残差平方和:
为最小。
一元线性回归
残差平方和为最小。因为Q是的非负函数,根据极值原理,可以由以下两式解出:
它们被称为“正规方程”或“法方程”。
一元线性回归
可解得:
将代入,得到另一形式的回归方程:
因为时, ,可见回归方程的直线通过观测值组的重心点。
一元线性回归
采用以下简化符号:
用以上符号后,
一元线性回归
:相关系数和显著性检验
回归方程是否有效:检验自变量和因变量之间的线性相关程度。
(1)因变量不随自变量的变化而变化