极大似然估计法.doc

《概率论与数理统计》
极大似然思想

一般地说,事件与参数有关,取值不同,,
:
例1、设袋中装有许多黑、白球,不同颜色球的数量比为3:1,试设计一种方法,估计任取一球为黑球的概率.
分析:易知的值无非是1/4或3/,现从袋中有放回地任取3只球,用表示其中的黑球数,,对的取值进行估计.
解:对的不同取值,取的概率可列表如下:
0 1 2 3


故根据极大似然思想即知:.
在上面的例子中,是分布中的参数,它只能取两个值:1/4或3/4,需要通过抽样来决定分布中参数究竟是1/4还是3/,这一概率依赖于的值,为此需要用1/4、3/4分别去计算此概率,在相对比较之下,哪个概率大,则就最象那个.
二、似然函数与极大似然估计
1、离散分布场合:
设总体是离散型随机变量,其概率函数为,
,这里,是常量,是变量.
若我们已知样本取的值是,,既然样本值出现了,它们出现的概率相对来说应比较大,,,并用表示,就有:
(1)
,选取使达到最大的参数值,,使(2)
因此,(3)
,,常将方程(3)写成: (4)
方程(4)(3)或(4)得到的就是参数的极大似然估计值.
如果方程(4)有唯一解,又能验证它是一个极大值点,,直接用(4)式行不通,这时必须回到原始定义(2)进行求解.
2、连续分布场合:
设总体是连续离散型随机变量,其概率密度函数为,若取得样本观察值为,,按极大似然法,
,再按前述方法求参数的极大似然估计值.
三、求极大似然估计的方法
1、可通过求导获得极大似然估计:
当函数关于参数可导时,常可通过求导方法来获得似然函数极大值对应的参数值.
例2、设某工序生产的产品的不合格率为,抽个产品作检验,发现有个不合格,试求的极大似然估计.
分析:设是抽查一个产品时的不合格品个数,,则得样本,其观察值为,假如样本有个不合格,即表示中有个取值为1,,求的极大似然估计.
解:(1)写出似然函数:
(2)对取对数,得对数似然函数:
(3)由于对的导数存在,故将对求导,令其为0,得似然方程:
(4)解似然方程得:
(5)经验证,在时,,这表明可使似然函数达到最大
(6)上述过程对任一样本观测值都成立,故用样本代替观察值便得的极大似然估计为:
将观察值代入,可得的极大似然估计值为:,其中.
若总体的分布中含有多个未知参数时,似然函数是这些