06-07-08-09-09210923第四章线性判别函数.ppt

北华大学电气信息工程学院
PRA
第四章线性判别函数
模式识别理论及应用Pattern Recognition - Methods and Application
内容目录
PRA
第四章线性判别函数
6
7
Fisher线性判别
3
感知器准则
多类问题
分段线性判别函数
5
引言
1
4
最小平方误差准则
模式识别与应用
讨论
2
引言
基于样本的Bayes分类器:通过估计类条件概率密度函数,设计相应的判别函数
MAX
g1
.
.
.
g2
gc
.
.
.
x1
x2
xn
a(x)
最一般情况下适用的“最优”分类器:错误率最小,对分类器设计在理论上有指导意义。
获取统计分布及其参数很困难,实际问题中并不一定具备获取准确统计分布的条件。
训练样本集
样本分布的统计特征:概率密度函数
决策规则:判别函数决策面方程
分类器功能结构
3
第四章线性判别函数
直接确定判别函数
基于样本的直接确定判别函数方法:
针对各种不同的情况,使用不同的准则函数,设计出满足这些不同准则要求的分类器。
这些准则的“最优”并不一定与错误率最小相一致:次优分类器。
实例:正态分布最小错误率贝叶斯分类器在特殊情况下,是线性判别函数g(x)=wTx(决策面是超平面),能否基于样本直接确定w?
引言
训练样本集
决策规则:判别函数决策面方程
选择最佳准则
4
第四章线性判别函数
线性判别函数
d维空间中的线性判别函数的一般形式:
x是样本向量,即样本在d维特征空间中的描述, w是权向量,w0是一个常数(阈值权)。
两类问题的分类决策规则:
引言
5
第四章线性判别函数
线性判别函数的几何意义
决策面(decision boundary)H方程:g(x)=0
向量w是决策面H的法向量
g(x)是点x到决策面H的距离的一种代数度量
引言
x1
x2
w
x
xp
r
H: g=0
6
第四章线性判别函数
广义线性判别函数
线性判别函数是形式最为简单的判别函数,但是它不能用于复杂情况。
例:设计一个一维分类器,使其功能为:
二次函数的一般形式:
g(x)又可表示成:
引言
映射X→Y
7
第四章线性判别函数
广义线性判别函数(2)
按照上述原理,任何非线性函数g(x)用级数展开成高次多项式后,都可转化成线性判别函数来处理。
一种特殊映射方法:增广样本向量y与增广权向量a
线性判别函数的齐次简化:
增广样本向量使特征空间增加了一维,但保持了样本间的欧氏距离不变,对于分类效果也与原决策面相同,只是在Y空间中决策面是通过坐标原点的,这在分析某些问题时具有优点,因此经常用到。
引言
8
第四章线性判别函数
线性分类器设计步骤
线性分类器设计任务:给定样本集K,确定线性判别函数g(x)=wTx的各项系数w。步骤:
收集一组样本K={x1,x2,…,xN}
按需要确定一准则函数J(K,w),其值反映分类器的性能,其极值解对应于“最好”决策。
用最优化技术求准则函数J的极值解w*,从而确定判别函数,完成分类器设计。
对于未知样本x,计算g(x),判断其类别
引言
9
第四章线性判别函数
Fisher线性判别
线性判别函数y=g(x)=wTx:
样本向量x各分量的线性加权
样本向量x与权向量w的向量点积
如果|| w ||=1,则视作向量x在向量w上的投影
Fisher准则的基本原理:找到一个最合适的投影轴,使两类样本在该轴上投影之间的距离尽可能远,而每一类样本的投影尽可能紧凑,从而使分类效果为最佳。
10
第四章线性判别函数