判别分析-)费希尔判别.ppt

判别分析
Fisher判别
Fisher判别
在应用多元统计方法解决分类问题时,问题之一就是维数问题。在低维空间里解析上或计算上行得通的方法,在高维空间里往往行不通。因此,降低维数有时就成为处理实际问题的关键。
可以考虑把d维空间的样本投影到一条直线上,形成一维空间,这在数学上是容易办到的。然而,即使样本在d维空间里形成若干紧凑的相互分得开的集群,若把它们投影到一条任意的直线上,也可能使几类样本混在一起而变得无法识别。但在一般情况下,总可以找到某个方向,使在这个方向的直线上,样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线。这就是Fisher法则所要解决的基本问题。
Fisher判别
Fisher判别
费希尔判别的基本思想是投影(或降维)
Fisher方法是要找到一个(或一组)投影轴w使得样本投影到该空间后能在保证方差最小的情况下,将不同类的样本很好的分开。并将度量类别均值之间差别的量称为类间方差(或类间散布矩阵);而度量这些均值周围方差的量称为类内方差(或类内散布矩阵)。Fisher判决的目标就是:寻找一个或一组投影轴,能够在最小化类内散布的同时最大化类间布。
Fisher判别
内容:
1、建立判别准则;
2、建立判别函数
3、回代样本;
4、估计回代的错误率;
5、判别新的样本。
由于是线性函数,一般可将表示为
()
对于线性函数,它的几何表示就是空间中
的一条直线或平面,或超平面,如果我们把两
总体、看成空间的两个点集,该平面所起的
作用就是尽可能将空间两个点集、分开,如
。
Fisher判别
图
要选择一个正确的投影方向,使同类样品点沿该方向在直线上的投影点尽可能集中,不同类样品点尽可能分开,这就是费歇提出的关于未知样品归属于两类总体的模型形成思想。
Fisher判别
选择合适的投影方向,就是要建立合适的判别函数。
1若判别函数是

则为线性判别分析
2否则为非线性判别分析,如
Fisher判别
设已知两总体和,通过分析研究在、
两总体中分别提取了个特征量,
然后对、两总体分别作、次试验,得、
两总体的试验观测数据如下:
两总体的Fisher判别法