非线性判别函数.ppt

第四次学****总结陈书燊
模式识别
非线性判别函数
分段线性判别函数
用凹函数的并表示分段线性判别函数
用交遇区的样本设计分段线性分类器
二次判别函数
1
2
3
4
Company Logo
前言
前面的线性分类器对于多分类问题,采用树分类器进行分类。若在树分类器的各节点上采用线性判别规则,构成了一个分段线性分类器。

在实际中,有很多实际模式识别问题并不是线性可分的,需要采用非线性分类器。当两类样本分布具有多峰性质并互相交错,简单的线性判别函数会带来较大的分类错误。
Company Logo
分段线性判别函数
基于距离的分段线性判别函数
正态分布条件下,两类别问题在各特征统计独立、同方差、且先验概率相等情况下,最小错误率决策可按最小距离决策,即
Company Logo
分段线性判别函数
按距离分类的原理是可以推广的,即把各类别样本特征向量的均值作为各类的代表点,而样本的类别按它到各类别代表点的最小距离划分。
在这种判别函数中,决策面是两类别均值连线的垂直平分面。
最小距离分类器只有在各类别密集地分布在其均值附近时才有效。
Company Logo
分段线性判别函数
每类不只取单个代表点而是多个。
分段线性距离分类器:

;
,选择最小作为决策。
Company Logo
分段线性判别函数
分段线性分类器设计的一般考虑
分类器设计的基本问题是,在一定判别函数内利用训练样本集确定分类器的参数,即判别函数中的系数。设计线性分类器,就是确定权向量和阀值权或广义权向量,而设计分段线性分类器,则是利用样本集确定一组该向量。



Company Logo
用凹函数的并表示分段线性判别函数
算法问题

,要首先判断每类分布有多少个峰,从而决定选择哪一类作设计,并确定设计几个分段线性判别函数才符合要求。这就需要对样本集有一定的先验知识。
,要给出每个分段线性判别函数中分段的数目。
。
Company Logo
用交遇区的样本设计分段线性分类器
局部训练法的思想是类间的分界面必然处在两类样本的交界处,因此只需找出这些交界处的样本,然后对这些邻近的不同类样本,按需要确定分界面即可。
实际上决策面都处在不同类别样本分布的交界处或邻接处所在的区域内,基于这种思想的样本训练法称为“局部训练法”。
Company Logo
用交遇区的样本设计分段线性分类器
参加训练的局部样本集由两类样本组成。这些区域称之为“交遇区”,局部训练法就是基于交遇区内样本进行设计的。
要解决的几个问题是:
(1)如何从样本集中找到“交遇区”;
(2)如何利用“交遇区”中的样本设计线性分类器;
(3)如何进行分类决策。
Company Logo