监督分类基本原理及算法.ppt

监督分类的基本原理及算法
讲解者：彭彬
监督分类基本原理及算法
统计模式识别
统计模式识别是研究每一个模式的各种测量数据的统计特性，按照统计决策理论来进行分类。
图像
输入
训练
样本
输入
改进规则
预处理
特征处理
特征处理
分类
学****规则
误差
检验
预处理
识别
分析
模式识别的大致过程
监督分类基本原理及算法
图中的上半部分是识别部分，即对未知图像进行分类；下半部分是分析部分，即由已知判别的训练样本求出判别函数及判别规则，进而用来对未知类别的图像进行分类。右下脚部分是自适应处理（学****部分），当训练样本根据某些规则求出一些判别规则后，再对这些顺利样本逐个进行检验，观察是否有误差。这样不断的改进，直到满足要求为止。
从图中可以看出统计模式识别部分主要是特征处理和分类俩部分。
统计模式识别
监督分类基本原理及算法
特征处理：包括特征选择和特征变换
特征选择：指从原来的M个测量值集合中，按某一准则选择出一个N维（N<M）的子集作为分类特征。要选取具有区分性，可靠性，独立性好的少量特征。（下面介绍俩种方法）
穷取法：从M个原始的测量值中选出N个特征，一共有C 种可能。对每一种选法用已知类别属性的样本进行试分类，测出其正确分类率，分类误差最小的一组特征是最好的选择。
最大最小类对距离法：首先在K个类别中选出最难分离的一对类别，然后选择不同的特征子集，计算这一对类别的可分性，具有最大可分性的特征子集就是该方法选择的最佳特征子集。
m
n
特征处理
监督分类基本原理及算法
特征变换：是将原有的M个测量值集合通过某种变换，然后产生N（N<M）个特征用于分类。
第一种情况：从减少特征之间的相关性和浓缩信息量的角度出发，根据原始数据的统计特性，用数学的处理方法使用尽量少的特征最大限度的包含所有原始数据的信息。主成分常用于这种。
第二种：根据对测量值所反映的物理现象和待分类类别之间关系的认识，通过数学运算产生一组新的特征，使得待分类别之间的差异在这组特征中更明显，有利于分类的结果。
监督分类：是根据预先已知类别名的样本，求出各类在特征空间的分布，然后利用它对未知函数进行分类的方法。
特征处理
监督分类基本原理及算法
常
用
的
判
别
涵
数
线性
判别
函数
距离
判别
函数
统计
判别
函数
绝对距离
费歇判别法
贝叶斯判别法
马氏距离
欧几里得
距离
最大似然法
原理
统计分类法
监督分类基本原理及算法
监督分类基本原理及算法
距离函数
监督分类基本原理及算法
距离函数
监督分类基本原理及算法