PR部分习题解答.doc

第二章：贝叶斯决策理论
主要考点：
最小错误率贝叶斯分类器；
最小风险贝叶斯分类器；
多元正态分布时的最小错误率贝叶斯分类器。
典型例题：Ｐ４５，，。
例题1：在一个一维模式两类分类问题中，设，两类的类概率密度分别为
1）求最小错误率贝叶斯分类器的阈值。
2）设损失为，求最小风险贝叶斯分类器的阈值。
解：由于p(w1)=1/3, p(w2)=2/3，则最小错误率贝叶斯分类器的阈值
θ=p(w2)/p(w1)=2
其相应的决策规则为：
则
即
当L= 时，
从而最小风险贝叶斯决策规则的阈值为：
判决规则为：
,则
即=>
例２ｐ45,
解：这里两类协方差矩阵相等。
负对数似然比判别规则为

解：
例４：假设两类二维正态分布参数如下，试给出负对数似然比判别规则。
解：负对数似然比判别规则为
所以，决策规则为：
实验一：贝叶斯分类器设计
实验1）随机生成服从二维正态分布的三类样本
类别
均值
方差
训练样本个数
测试样本数
1
300
100
2
200
100
3
500
100
2）利用训练样本估计各类的均值与协方差矩阵，并以此作为各类的类概率密度的参数；
3）设计基于最小错误率的贝叶斯分类器；
4）计算测试样本的错误率
5）分析实验结果
上机步骤：第一步：生成各种随机数
d1=1+sqrt(4)*randn(1,300); %
d2=2+sqrt(6)*randn(1,300);
train_data1=[d1;d2]; %合成一个二维正态分布的训练样本，类别为１;
d3=5+sqrt(5)*randn(1,200);
d4=3+sqrt(1)*randn(1,200);
train_data2=[d3;d4]; ％生成一个二维正态分布的训练样本，类别为２；
d5=4+sqrt(2)*randn(1,200);
d6=7+sqrt(9)*randn(1,200);％生成一个二维正态分布的训练样本，类别为３；
c1=1+sqrt(4)*randn(1,100); %
c2=2+sqrt(6)*randn(1,100);　
test_data1=[c1;c2]; %合成一个二维正态分布的训练样本，类别为１;
c3=5+sqrt(5)*randn(1,100);
c4=3+sqrt(1)*randn(1,100);
test_data2=[c3;c4]; %生成一个二维正态分布的训练样本，类别为２；
c5=4+sqrt(2)*randn(1,100);
c6=7+sqrt(9)*randn(1,100);%生成一个二维正态分布的训练样本，类别为３；
test_data2=[c5;c6];
第二步：计算各类的均值与协方差矩阵；
miu1=mean(train_data1);
miu2=mean(train_data2);
miu3=mean(train_data3);
cov1=cov(train_data1');