第六章 神经网络在模式识别中的应用.doc

第六章神经网络在模式识别中的应用
模式识别模拟的是人类一部分智能—识别、判断能力,而人类的智能活动都是在大脑的神经系统中完成的,如果我们能够模拟人类大脑的工作机理来实现识别系统,应该能够取得好的效果。人工神经网络的研究证实在这方面所进行的探索。
人工神经网络的基础知识
一、人工神经网络的发展历史
1943年,ulloch和数学家Pitts提出了形式神经元的数学模型;
1949年,心理学家Hebb提出了神经元学****的准则;
20世纪50年代末,Rosenblatt提出了感知器模型,引起了神经元研究的广泛兴趣;
1969年,Minsky等人指出了感知器的局限性,神经网络的研究热潮下降;
1982年,Hopfield提出了一种神经网络的动力学模型,可以用于联想记忆和优化计算;
1986年,Rumelhart等人提出了多层感知器模型,克服了感知器模型的局限性,使得人工神经网络的研究再度受到重视。
二、生物神经元
一个典型的神经元(或称神经细胞)可以看作有三部分组成:细胞体,树突和轴突。
树突是神经元的生物信号输入端,与其它的神经元相连;轴突是神经元的信号输出端,连接到其它神经元的树突上;神经元有两种状态:兴奋和抑制,平时神经元都处于抑制状态,轴突没有输入,当神经元的树突输入信号大到一定程度,超过某个阈值时,神经元有抑制状态转为兴奋状态,同时轴突向其它神经元发出信号。
三、人工神经元
人工神经元是仿照生物神经元提出的,神经元可以有个输入:,每个输入端与神经元之间有一定的联接权值:,神经元总的输入为对每个输入的加权求和,同时减去阈值:
神经元的输出是对的映射:
称为输出函数,可以有很多形式。当为阈值函数时,神经元就可以看作是一个线性分类器。
当取为Sigmoid函数时,神经元完成的是连续的线性映射:
[0,1]
[-1,1]
一个神经元的结构可以简化为下图的形式:
其中输入矢量为增广矢量,最后一维,用代替阈值。
前馈神经网络
在前馈网络中,每个神经元只接受前一级的输入,并输出到下一级,没有反馈。
一、感知器
感知器实际上是一个两层前馈网络,第一层为输入层,只是将输入的特征值传输给下一层;第二层为计算单元。下图表示的就是一个两输入,四输出的感知器。
感知器的学****算法同前面介绍的类似,只不过现在的输出可能不止是0和1。设某一个训练样本的理想输出为,而实际输出为,则权值可按如下公式进行修改:
其中为步长。
单个神经元可以实现两类问题的线性分类,多个感知器则可以实现多类别问题的线性分类。例如上图中的网络就可以实现四类问题的分类,训练时,第1类的训练样本理想输出为(1,0,0,0),第2类的理想输出为(0,1,0,0),第3类为(0,0,1,0),第4类为(0,0,0,1)。也就是每个神经元输出为1代表某一类别。这样的网络实际上是由拒绝区域的分类,当待识样本输入后,输出全部为0或由不止一个输出为1,则应该拒识。
如果对于四个类别问题,用两个计算单元进行编码输出时,则可以做到无拒识。也就是说第1类训练样本的理想输出为(0,0),第2类为(0,1),第3类为(1,0),第4类为(1,1)。
二、多层感知器
多层感知器可以解决感知器的局限性问题,实现输入和输出之间的非线性映射。上图表示的