经典参数估计方法(3种方法).docx

经典参数估计方法:普通最小二乘( OLS ) 、最大似然( ML )和矩估计( MM) ?普通最小二乘估计( Ordinary least squares , OLS ) 1801 年, 意大利天文学家朱赛普. 皮亚齐发现了第一颗小行星谷神星。经过 40 天的跟踪观测后, 由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星, 但是根据大多数人计算的结果来寻找谷神星都没有结果。时年 24 岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希. 奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于 1809 年他的著作《天体运动论》中。法国科学家勒让德于 1806 年独立发现“最小二乘法”,但因不为世人所知而默默无闻。勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。 1829 年,高斯提供了最小二乘法的优化效果强于其他方法的证明,因此被称为高斯- 莫卡夫定理。最大似然估计( Maximum likelihood , ML ) 最大似然法,也称最大或然法、极大似然法,最早由高斯提出,后由英国遗传及统计学家费歇于 1912 年重新提出, 并证明了该方法的一些性质, 名称“最大似然估计”也是费歇给出的。该方法是不同于最小二乘法的另一种参数估计方法,是从最大似然原理出发发展起来的其他估计方法的基础。虽然其应用没有最小二乘法普遍,但在计量经济学理论上占据很重要的地位,因为最大似然原理比最小二乘原理更本质地揭示了通过样本估计总体的内在机理。计量经济学的发展,更多地是以最大似然原理为基础的,对于一些特殊的计量经济学模型,最大似然法才是成功的估计方法。对于最小二乘法,当从模型总体随机抽取 n 组样本观测值后,最合理的参数估计量应该使得模型能最好地拟合样本数据;而对于最大似然法,当从模型总体随机抽取 n 组样本观测值后,最合理的参数估计量应该是使得从模型中抽取该 n 组样本观测值的概率最大。从总体中经过 n 次随机抽取得到的样本容量为 n 的样本观测值,在任一次随机抽取中,样本观测值都以一定的概率出现。如果已经知道总体的参数,当然由变量的频率函数可以计算其概率。如果只知道总体服从某种分布,但不知道其分布参数,通过随机样本可以求出总体的参数估计。以正态分布的总体为例,每个总体都有自己的分布参数期望和方差,如果已经得到 n 组样本观测值,在可供选择的总体中,哪个总体最可能产生已经得到的 n 组样本观测值呢?显然,要对每个可能的正态总体估计取 n 组样本观测值的联合概率,然后选择其参数能使观测值的联合概率最大的那个总体。将样本观测值联合概率函数称为变量的似然函数。在已经取得样本观测值的情况下,使似然函数取极大值的总体分布参数所代表的总体具有最大的概率取得这些样本观测值,该总体参数即是所要求的参数。通过似然函数极大化以求得总体参数估计量的方法被称为极大似然法。矩估计( Moment method , MM ) 工具变量法 http://baike./view/ 原点矩 http://baike./view/ 中心矩 http://baike./view/ 由英国统计学家皮尔逊于 1894 年提出的, 是最