模式识别大作业—Fisher 最近邻.doc

模式识别大作业—Fisher_最近邻姓名: 学号:
题目
对sonar和wdbc中数据(如表1所示)进行分类,并将实验结果填入表2。不降维方法用邻近法,降维用fisher判别:
表1 实验数据
类别数
特征维数
样本个数
wdbc
2
30
=357
=212
sonar
2
60
=98
=110
解:
表2实验结果(准确率)
不降维
降维
wdbc


sonar


一、Fisher线性判别
Fisher判别法的基本思想是寻找一个最好的投影方向,在这个方向的直线上,d维样本的投影能分开的最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线。这就是fisher法所要解决的基本问题。
一维空间的Fisher线性判别函数为:

=,i=1,2

其中,和是两个样本的均值,,分别为各类样本的的类内离散度。投影方向为:
(4)
(5)
在Fisher判决函数中,分子反应了映射后两类中心的距离平方,该值越大,类间可分性越好;分母反应了两类的类内的离散度,其值越小越好;从总体上讲,的值越大越好,在这种可分性评价标准下,使达到最大值的即为最佳投影方向。
以上所做的全部工作都是将d维空间的样本集映射成一维样本集,然后,我们只需要再确定一个阈值,将投影点与阈值比较,便可作出决策。本程序中,采用的是
阈值=()/ 2
然后再根据决策规则比较投影与阈值大小就可判断属于什么类型。
Fisher线性判别的主要优点是简单,容易实现,且计算量和存储量小。
二、Fisher线性判别流程图
分别取50组类别1和类别2的样本进行训练
通过决策规则,计算得到和决策面阈值
构成fisher判别函数
分别计算测试样本识别的准确率
选取剩下类别1和类别2的样本进行测试
是否大于阈值?
类别1的个数加1
类别2的个数加1
三、Fisher线性判别实验结果
因为选择训练样本具有随机性,所以进行多次实验,求取判别准确率的平均值。
表一:sonar(fisher) 表二:wdbc(fisher)
运行次数
准确率
1

2

3

4

5

6

7

8

9

10

平均准确率

运行次数
准确率
1

2

3

4

5

6

7

8

9

10

平均准确率

四、最近邻法
其基本思想是在训练样本中找到测试样本的最近邻,然后根据这个最近邻样本的类别来决定测试样本的类别,邻近法算法所选择的邻居都是已经正确分类的对象。
该算法在分类时的不足主要有:如果样本数目太少,样本的分布可能会带有很大的偶然性,不一定能很好地代表数据内的分布情况,此时就会影响最近邻法的性能。该方法的另一个不足之处是计算量较大,因为对每一个待分类的文本都要计算它到全体已知样本的距离,才能求得它的最近邻点。
如果写成判别函数的形式,类的判别函数可以写作

决策规则为各类的判别函数比较大小,即

五、最近邻法判别流程图将测试样本的类别判定为最近训练样本的类别
分别取50组类别1和类别2的样本作为训练样本
选取剩下类别1和类别2的样本作为测试样本
计算出距每个测试样本最近的训练对象
分别测试样本识别的准确率
六、最近邻法判别实验结果
表三:sonar(最近邻) 表四:wdbc(最近邻)
运行次数
准确率
1

2

3

4

5

6

7

8

9

10

平均准确率

运行次数
准确率
1

2

3

4

5

6

7

8
1
9

10

平均准确率

七、实验总结
;。因此在此两组数据中fisher线性判别的识别率要稍微高于近邻法,主要原