费希尔判别法理论.doc

费希尔判别法理论
费希尔判别
费希尔判别(或称典型判别)的基本思想是投影(或降维):用p维向量x=(x1,x2,???xp)'的少数几个线性组合(称为费希尔判别函数或典型变量)y1=a1'x,y2=a2'x,???yr=ar'x(一般r明显小于p)来代替原始的p个变量x1,x2,???xp,以达到降维的目的,并根据这r个判别函数y1,y2,???yr对样品的归属做出判别或将各组分离。成功的降维将使样品的归类或组的分离更为方便和有效,并且可以对前三个判别函数作图,从直观的几何图像上区别各组。
在降维的过程中难免会有部分有用信息的损失,但只要使用的方法得当,我们可以最大限度地减少这种损失,从而保留尽可能多的有用信息,即关于能够反应组之间差异的信息。为便于理解,我们以下用一个简单的二维例子来加以说明。
图投影到某个方向再判别
如图所示,两个组的所有样品都测量了两个变量x1和x2,将所有(x1,x2)点画于直角坐标系上,一组的样品点用“×”表示,另一组的样品点用“○”表示。假定我们希望将二维空间的点投影到某个一维空间,即一条直线上,然后再对两组进行判别,则投影到不同的直线上,判别的效果一般是不同的。从图中可见,如果两组的点都投影到直线z上则这两组的投影点在该直线上的分布几乎无任何差异,他们完全混合在一起,我们无法将这两组的点区别开来,这样的降维把反应两组间差异的信息都给损失了,显然是
不可取的。事实上,
最好的投影是投影
到直线y上,因为它把两组的投影点很清楚地区分了开来,这种降维把有关两组差异的信息很好地保留了下来,几乎没有任何损失,如此就完全可以在一维的直线上作判别分析。
我们现考虑在Rp中将k组的p维数据向量投影到某个具有最佳方向的a上,即投影到a上的点能最大限度地显现出各组之间的差异。
设来自组πi的p维观测值为xij,j=1,2,???,ni,i=1,2,???,k,将它们共同投影
'xij,到某一p维常数向量a上,得到的投影点可分别对应线性组合yij=a
j=1,2,???,ni,i=1,2,???,k。这样,所有的p维观测值就简化为一维观测值。下面我们用yi表示组πi中yij的均值,y表示所有组k组的yij的总均值,即
1yi=ni∑yj=1niij=a'xi
1kniy=∑∑yij=a'xi ni=1j=1
1式中n=∑ni,xi=nii=1
k1kxij,x=∑nixi。∑ni=1j=1ni对于任一用来投影的a,我们需要给出一个能反映组之间分离程度的度量。比较图中的上、下半图,上半图三组均值之间的差异程度与下半图是相同的,而前者组之间的分离程度却明显高于后者,原因就在于前者的组内变差要远小于后者,后者组之间有较多重叠。因此,可以考虑将组之间的分离程度度量为相对其组内变差的组间
变差。在以下的讨论中,我们需假定各组的协方差矩阵相同,即∑1=∑2=???=∑k=∑。
图三组之间的分离程度
yij的组间平方和
SSTR=∑ni(yi-y)=∑ni(a'xi-a'x)2=a'Ha 2
i=1i=1kk
式中H=∑ni(xi-x)(xi-x)'为组间平方和及叉积和矩阵。yij的组内