第08章 对数极大似然估计.ppt

1
EViews包含了一些常用方法,如最小二乘法、非线性最小二乘法、加权最小二乘法、TSLS、GMM、ARIMA、ARCH、GARCH等方法,这些方法可以解决可能遇到的大多数估计问题。但是,我们在研究中也可能会碰到一些不在上述之列的特殊的模型,这些模型可能是现存方法的一个扩展,也可能是一类全新的问题。
为了能解决这些特殊的问题,EViews提供了对数极大似然估计对象这一工具来估计各种不同类型的模型。对数极大似然估计对象提供了一个一般的,开放的工具,可以通过这个工具极大化相关参数的似然函数对一大类模型进行估计。
2
使用对数极大似然估计对象估计时,我们用EViews的序列生成器,将样本中各个观测值的对数似然贡献描述为一个未知参数的函数。可以给出似然函数中一个或多个参数的解析微分,也可以让EViews自动计算数值微分。EViews将寻找使得指定的似然函数最大化的参数值,并给出这些参数估计的估计标准差。
在本章,我们将详细论述对数极大似然估计对象,说明其一般特征。并给出了一些可以使用该方法的具体的例子。
3
§ 对数极大似然估计的基本原理
§ 极大似然估计的基本原理
设总体的概率密度函数为P,其类型是已知的,但含有未知参数(向量)。我们的目的就是依据从该总体抽得的随机样本 y1, y2, …, yT ,寻求对的估计。
观测值 y1, y2, …, yT 的联合密度函数被给定为
()
其中:y = ( y1, y2, …, yT )。将这一联合密度函数视为参数的函数,称为样本的似然函数(likelihood function)。
4
极大似然原理就是寻求参数的估计值,使得所给样本值的概率密度(即似然函数)的值在这个参数值之下,达到最大。在当前的情形下,就是寻求的估计值,使得似然函数 L(y ; ) 相对于给定的观测值 y1, y2, …, yT 而言达到最大值, 就被称为极大似然估计量。
5
在 L(y ; ) 关于i(i =1, 2, …, n,n是未知参数的个数)的偏导数存在时,要使 L(y ; ) 取最大值,必须满足
, i =1, 2, …, n ()
由上式可解得 n1 向量的极大似然估计值,而式()也被称为似然函数。
6
因为 L(y ; ) 与 ln[L(y ; ))] 在同一点处取极值,所以也可以由
, i =1, 2, …, n ()
求得,因为对数可将乘积变成求和,所以,式()往往比直接使用式()来得方便。式()也被称为对数似然函数。
7
考虑多元线性回归模型的一般形式
, t =1, 2 , …, T ()
其中 k 是解释变量个数,T 是观测值个数,随机扰动项
~ ,
那么 yt 服从如下的正态分布:
~
其中
()
8
y 的随机抽取的 T 个样本观测值的联合概率函数为

()
这就是变量y的似然函数,未知参数向量={1, 2,…k, 2}。
对似然函数求极大值和对数似然函数求极大值是等价
的,式()的对数似然函数形式为:

()
9
注意,可以将对数似然函数写成 t 时刻所有观测值的对数似然贡献和的形式,
()
这里对数似然的单个贡献(用小写字母表示)由下面的式子给出:
()
10
式()也可用标准正态分布的密度函数表示


()
式中标准正态分布的对数似然函数为
()
这里对数似然函数每个观测值的贡献式()又可以由下面的式子给出:
()