非参数估计技巧.ppt

非参数估计引言?参数化估计: ML 方法和 Bayesian 估计。假设概率密度形式已知。?实际中概率密度形式往往未知。?实际中概率密度往往是多模的,即有多个局部极大值。?实际中样本维数较高,且关于高维密度函数可以表示成一些低维密度函数乘积的假设通常也不成立。?本章介绍非参数密度估计方法: 能处理任意的概率分布,而不必假设密度函数的形式已知。主要内容?概率密度估计? Parzen 窗估计? k-NN 估计?最近邻分类器( NN ) ? k-近邻分类器( k-NN ) 概率密度估计?概率密度估计问题: 给定 . 样本集: 估计概率分布: ?? 1 2 , , , lX? x x x ??? px概率密度估计?直方图方法: 非参数概率密度估计的最简单方法? 1. 把x的每个分量分成 k 个等间隔小窗, ( x∈E d,则形成 k d个小舱) ? 2. 统计落入各个小舱内的样本数 q i ? 3. 相应小舱的概率密度为: q i /(NV ) ( N :样本总数, V :小舱体积) 概率密度估计?直方图的例子概率密度估计?非参数概率密度估计的核心思路: ?? R P p d ?? x x 一个向量 x落在区域 R中的概率 P为: 因此,可以通过统计概率 P来估计概率密度函数 p(x) 概率密度估计?假设 N个样本的集合是根据概率密度函数为 p(x) 的分布独立抽取得到的。那么,有 k个样本落在区域 R中的概率服从二项式定理: ?? 1 N k k kN P P P k ?? ?? ?? ?? ? k 的期望值为: ?? E k NP ?? kPN ?对P的估计: 当时, 估计是非常精确的 N ??概率密度估计?假设 p(x) 是连续的,且 R足够小使得 p(x) 在R内几乎没有变化。?令R是包含样本点 x的一个区域,其体积为 V,设有 N个训练样本,其中有 k落在区域 R中,则可对概率密度作出一个估计: ???? R P p d p V ? ?? x x x ??/? k N pV ?x ? kPN ?对 p(x) 在小区域内的平均值的估计概率密度估计?当样本数量 N固定时,体积 V的大小对估计的效果影响很大。?过大则平滑过多,不够精确; ?过小则可能导致在此区域内无样本点, k=0 。?此方法的有效性取决于样本数量的多少,以及区域体积选择的合适。