判别分析(2)费希尔判别.ppt

第四章判别分析 Fisher 判别 Fisher 判别在应用多元统计方法解决分类问题时,问题之一就是维数问题。在低维空间里解析上或计算上行得通的方法,在高维空间里往往行不通。因此,降低维数有时就成为处理实际问题的关键。可以考虑把 d维空间的样本投影到一条直线上,形成一维空间,这在数学上是容易办到的。然而,即使样本在 d维空间里形成若干紧凑的相互分得开的集群,若把它们投影到一条任意的直线上,也可能使几类样本混在一起而变得无法识别。但在一般情况下,总可以找到某个方向, 使在这个方向的直线上,样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线。这就是 Fisher 法则所要解决的基本问题。 Fisher 判别 Fisher 判别 Fisher 判别费希尔判别的基本思想是投影(或降维) Fisher 方法是要找到一个(或一组)投影轴 w使得样本投影到该空间后能在保证方差最小的情况下,将不同类的样本很好的分开。并将度量类别均值之间差别的量称为类间方差(或类间散布矩阵);而度量这些均值周围方差的量称为类内方差(或类内散布矩阵)。 Fisher 判决的目标就是: 寻找一个或一组投影轴,能够在最小化类内散布的同时最大化类间布。 Fisher 判别内容: 1、建立判别准则; 2、建立判别函数 3、回代样本; 4、估计回代的错误率; 5、判别新的样本。由于是线性函数,一般可将表示为( ) 对于线性函数,它的几何表示就是空间中的一条直线或平面,或超平面,如果我们把两总体、看成空间的两个点集,该平面所起的作用就是尽可能将空间两个点集、分开,如图 所示。)(Xy)(Xy mmxcxcxcXy????? 2211)()(XyAAB B Fisher 判别图 要选择一个正确的投影方向, 使同类样品点沿该方向在直线上的投影点尽可能集中, 不同类样品点尽可能分开, 这就是费歇提出的关于未知样品归属于两类总体的模型形成思想。 Fisher 判别选择合适的投影方向,就是要建立合适的判别函数。 1若判别函数是则为线性判别分析 2否则为非线性判别分析,如 mm gxcxcxcXy????? 2211)( 3 22211)(cxcxcXy g??? Fisher 判别设已知两总体和,通过分析研究在、两总体中分别提取了个特征量, 然后对、两总体分别作、次试验,得、两总体的试验观测数据如下: AAA A BB BB m mxxx,,, 21? an bn m Bn Bn Bn m An An An mB BB mA AA mB BB mA AA b bb a aaxxxxxx xxxxxx xxxxxx?????????????? 21 21 2 22 21 2 22 21 1 12 11 1 12 11两总体的 Fisher 判别法