精品PPT课件----第二章 参数估计.ppt

第二章参数估计理论
估计理论的分类:参数化与非参数化(基于模型与无模型)。
参数化方法假定数据服从已知结构的概率模型,但是模型的某些参数未知。例如线性均方估计,ARMA谱估计。
非参数化方法不假定数据服从某种特定的概率模型。例如基于离散傅立叶变换的功率谱估计和高阶谱估计。
参数化方法的效率高,但是适应范围窄。
估计子的性能
无偏估计与渐进无偏估计
参数估计:由N个样本数据推出p个参数的值。
估计子:真实参数的近似。
参数估计的偏差:
无偏估计:
渐进无偏估计:
估计子的有效性
评价两个估计子有效性的量度:均值和方差。
均值:
方差:
均值和方差:
Fisher信息与Cramer-Rao不等式
如何判断一个估计子是否是最优的。
随机变量x的品质函数
品质函数的性质:
品质函数的方差越大越好,还是越小越好?
品质函数的方差称为Fisher信息,表征样本中包含被估计量的信息量:
Fisher信息值越大,意味着相邻估计子的区分度越高。
Cramer-Rao不等式:令x=(x1,…,xN)为样本向量。若参数
估计是真实参数的无偏估计,且和
存在,则的均方误差所能达到的下界等于Fisher信息的倒数,即
Bayes估计
Bayes公式:

意义:结果到原因(推断)原因到结果(机理)
损失函数:
损失函数是随机变量x的函数,因而本身也是随机的。
损失函数的数学期望称为风险函数:
使二次风险函数最小的估计称为最小均方误差(MMSE)估计:
最大似然估计
问题描述:
似然函数的定义:
特别地,当x1,…,xN为独立的观测样本,似然函数为:

令,可求出
x1,…,xN为独立的观测样本,且服从正态分布
试确定均值和方差的最大似然估计。
解:由题设可得
从而有
分别求偏导,可得
解以上二方程,可得
与样本均值和方差的无偏估计比较,可知均值的估计是无偏的,方差的估计是渐进无偏的。