下载此文档

模式识别课件第三章NO(概率密度函数估计)摘要.ppt


文档分类:高等教育 | 页数:约23页 举报非法文档有奖
1/23
下载提示
  • 1.该资料是网友上传的,本站提供全文预览,预览什么样,下载就什么样。
  • 2.下载该文档所得收入归上传者、原创者。
  • 3.下载的文档,不会出现我们的网址水印。
1/23 下载此文档
文档列表 文档介绍
第三章概率密度函数的估计一引言?前述是在已知 P(w i)和 p(x | w i)情况下进行讨论的。 但实际中,我们能收集到的是有限数目的样本,而未知的则可能是: ①条件概率密度(各类的总体分布) p(x| w i); ②先验概率 P(w i)。?也许 P(w i ) 和 p(x | w i)的形式可知,但其中的参数未知。?这时就利用统计推断中的估计理论:如利用样本集估计 p(w i)和 p(x| w i) (分别记为和 ) ^ ( ) i p w ^ ( | ) i p x w 二参数估计的基本概念 1 参数估计的类型(1) 监督参数估计:样本所属的类别及 p(x| w i)的形式为已知,而概率密度 p(x| w i)中的一些参数是未知的。这时要由已知类别的样本集对总体分布的某些参数进行估计。(2) 非监督参数估计:已知 p(x| w i)的形式,但未知样本所属类别。 这时就要估计概率密度中的一些参数。注:监督与非监督参数估计的区别: 样本所属类别是已知还是未知的。(3) 非参数估计:已知样本所属类别,但未知 p(x| w i)形式。这时就要推断出概率密度函数。 2 名词解释(1) 训练(学****在 p(w i)、 p(x| w i)或 p(w i |x) 不知道或不完全知道时,而根据样本来确定他们,这项工作成为训练或学****2) 总体(母体): 一个模式类。(3) 总体的子样: 一个模式类中某些模式(总体中的一些元素) 的集合称之这个总体的子样。(4) 统计量: 由样本构造的函数 d(x i,…,x n),即针对不同要求构造出样本的某种函数。(5) 经验分布:由样本推断的分布。(6) 估计: 由样本按某种规则构造的一个统计量θ’=θ(x 1 ,x 2,…,x n),用θ’的值作为被估参数集θ的近似值。(7) 点估计:构造一个统计量 d(x 1,…,x n )作为参数θ的估计θ’。(8) 估计量: 在统计学中称θ’为θ的估计量。(9) 估计值: 将类别 w i中的几个样本观察值 x 1 i,…,x n i代入统计量 d 中所求得的第i类的具体数值θ’。(10) 区间估计: 在一区间内对θ进行估计,此区间称为置信区间。(11) 参数空间: 在概率密度形式已知,而未知的是其所含(几个)参数时,则未知参数(记为θ)的取值范围(即集合)称为参数空间。三参数估计的几种常用方法 1 最大似然估计(1) 假设: ①按类别把样本集分开,设有 c类,即有 c个样本集? 1, ? 2,…, ? c,其中? j的样本 X =(x 1,…,x n)是按类条件概率密度为 p(X|w j)从总体中独立抽取的。② p(X|w j)的函数形式已知,但其参数向量θ j未知,且θ j唯一地是由 p(X|w i)决定的(将其记为 p(X|w j,θ j ) ,即表示 p(X|w j) 与θ j有关。或说认为此概率密度是由θ j、w j作为条件的条件概率密度)。③参数θ是由样本集唯一地确定( 即θ是确定而未知的量)。④假设? i类中的样本不包含θ j (i≠ j)的信息,即不同类别的参数在函数上是独立的。(2) 现在的问题就是: 从样本提供的信息来得到参数向量θ 1 , θ 2 ,… ,θ c(每个类得到一个参数向量θ)的估计值。(3) 最大似然估计的基本思想: 如果在一次观察中一个事件 X出现了,那么可认为这个事件出现的可能性很大。这里,事件 X ={x 1 ,x 2,…,x n}是按概率密度 p(X|w i)从总体中抽出的样本,这时就认为 p(X|θ)达到了最大值, 使 p(X|θ)达到最大值的θ’就是θ的最大似然估计。(4) 最大似然估计的求解?设已得到属于同一类的 N个样本,即 X = {x 1,…,x N} 它们具有概率密度 p(x k|θ) (k=1, …,N), 且样本是独立抽取的, 则 N p(X|θ) = p(x 1,…,x N|θ) = ∏ p(x k|θ) (2-26) k=1 p( X|θ)是θ的函数(将其称为相对于样本集 X的θ的似然函数, 记为 l(θ)), 即 N l(θ) = p( X|θ) = ∏ p(x k|θ) (2-27) k=1 注: (1) l(θ)给出了从总体中抽出 x 1,…,x N这样 N个样本的概率。(2) 未知参数θ的最大似然估计θ’被定义为使 l(θ)最大的θ值。 (3) 当X的N个样本确定后,似然函数 l(θ)只是θ的函数。 (4) 但若换一组样本, l(θ)的形式也会发生改变。即使 l(θ)的值最

模式识别课件第三章NO(概率密度函数估计)摘要 来自淘豆网www.taodocs.com转载请标明出处.

非法内容举报中心
文档信息
  • 页数23
  • 收藏数0 收藏
  • 顶次数0
  • 上传人s0012230
  • 文件大小0 KB
  • 时间2016-03-24