模式识别实验报告.pdf

《模式识别实验报告.pdf》由会员分享，可在线阅读，更多相关《模式识别实验报告.pdf（15页珍藏版）》请在一课资料网上搜索。

1、 深圳大学研究生课程：模式识别理论与方法 课程作业实验报告课程作业实验报告 实验名称实验名称: PCA 主分量主分量分析与分析与 Fisher线性判别线性判别分析分析 实验编号：实验编号：Proj03-02 签签 名：名： 姓姓 名：名：罗升 学学 号：号：2140130418 截止提交日期：截止提交日期：2015 年 4 月 20 日 摘要：摘要： PCA 主分量分析是把多个特征映射为少数几个综合特征的一种统计分析方法，其是寻找在最小均方意义下最能够代表原始数据的投影方法。Fisher 线性判别是将 n类 m 维数据尽可能地投影到一个方向（一条直线），使得类与类之间尽可能分开。 由 PCA

2、主分量分析实验可以得出， PCA 分析可以对数据集合在特征空间进行平移和旋转。由 Fisher 线性判别分析实验可以得出，Fisher 线性判别方法可以实现高维数据在一维中分类，然而通过对比 Fisher 线性判别方法找的最优方向与非最优方向的分类结果，前者的分类效果不如后者。 一、一、 基本基本原理原理 1. PCA 主分量分析主分量分析 主分量分析是把多个特征映射为少数几个综合特征的一种统计分析方法。 在多特征值的研究中，往往由于特征个数太多，且彼此之间存在一定的相关性，因而使得所观测的数据在一定程度上有信息的重叠。当特征较多时，在高维空间中研究样本的分布规律就更麻烦。主分量分析采取组合特

3、征的方法来降维，对几个特征座线性组合是一种具有吸引力的方法，因为线性组合容易计算，并且能够进行解析分析。从本质上来说，线性方法是把高维的数据投影到低维空间中，主分量分析是寻找在最小均方意义下最能够代表原始数据的投影方法。 1.1 平方平方误差误差准则准则函数函数 有 n 个 d 维12x ,x ,xn，用一个 d 维的向量0 x代表 n 个样本，平方误差准则函数00(x )J为： 20001(x )xxnkkJ (1) 00(x )J最小化的那个 d 维的向量0 xm，其中 m是样本均值： 11mxnkkn (2) 2.1 样本样本投影的投影的直线直线 通过把全部样本向通过样本均值的一条直线作

4、投影， 我们能够得到代表全部样本的一个一维向量，e表示通过样本均值的直线上的单位向量，那么，这条直线的方程可以表示为： xm aeae (xm)tkk (3) 3.1 散布散布矩阵矩阵 1S(xm)(xm)ntkkk (4) 4.1 直线直线 e 的最优方向的最优方向 散布矩阵最大的本征值对应的那个本征向量作为投影直线 e 的方向： See (5) 2. Fisher 线性线性判别分析判别分析 Fisher 线性判别是将 n 类 m 维数据尽可能地投影到一个方向（一条直线） ，使得类与类之间尽可能分开。 有一组 n 个 d 维的样本12x ,x ,xn， 它们分属于两个不同的类别， 即其中的大

5、小为1n的样本属于1，大小为2n的样本属于2。如果对 x中的各个成分作线性组合，就得到点积，结果是一个标量 w xty (6) 当 x是二维的，我们就是要找一条直线（方向为 w）来做投影，然后寻找最能使样本点分离的直线。如下图： 从直线上来看，右图比较好，可以很好地将不同类别的样本点分离。 2.1 样本样本均值均值 如果mi为 d 维样本均值为 x1mxiiin (7) 那么，投影后的点的样本均值为 x11w xw miittiiyiimynn (8) 2.2 类内类内散布矩阵散布矩阵Si和和总类内散布矩阵总类内散布矩阵Sw xS(xm )(x m )itiii (9) 12SSSw (10)

6、 2.3 投影投影后的最佳后的最佳方向方向 112wS(mm )w (11) 二、二、 实验实验方法方法 1. PCA 主分量分析主分量分析 1.1 对二维高斯分布情况，给定均值矢量和协方差矩阵如下： 590.4,70.41= 生成 1000 个二维样本矢量的数据集合 X，并绘出该样本集合的二维散点图。 1.2 计算样本集合的均值向量和散布矩阵，并计算散布矩阵的特征值和特征向量，在二维坐标中，以均值向量为中心，画出每一个特征向量方向的直线，特征向量方向的直线叠加在二维散点图上。 样本集合的均值向量和散布矩阵为： 散布矩阵的特征值和特征向量为： -6-4-202468101214-2024681

7、0121000个 二 维 高 斯 分 布 的 二 维 散 点 图 样 本第 一 特 征 向 量第 二 特 征 向 量 1.3 对集合 X 中的每一个向量 x进行下面的变换，生成集合 Y XxyD (x m ) xm为集合 X 的均值向量，x12De ,e 为散布矩阵的特征向量，分别绘出集合 X 和集合 Y 的二维散点图。 -6-4-202468101214-10-5051015集 合 X和 集 合 Y的 二 维 散 点 图 结论：可以从图中看出，集合 Y 是集合 X 经过平移旋转之后得到的，且其与集合 X 正交。 1.4 对三维高斯分布情况，给定均值矢量和协方差矩阵如下： 440.205 ,0

8、.2209000.5= 生成 1000 个三维样本矢量的数据集合 X，并绘出该样本集合的三维散点图。 1.5 计算样本集合的均值向量和散布矩阵，并计算散布矩阵的特征值和特征向量，在三维坐标中，以均值向量为中心，画出每一个特征向量方向的直线，特征向量方向的直线叠加在三维散点图上。 样本集合的均值向量为： 样本集合的散布矩阵为： 散布矩阵的特征值和特征向量为： -10-50510051015205101520 1000个 三 维 高 斯 分 布 的 三 维 散 点 图 样 本第 一 特 征 向 量第 二 特 征 向 量第 三 特 征 向 量 1.6 对集合 X 中的每一个向量 x进行下面的变换，生

9、成集合 Y XxyD (x m ) xm为集合 X 的均值向量，x123De ,e ,e 为散布矩阵的特征向量，分别绘出集合 X 和集合 Y 的三维散点图。 -10-50510-1001020-10-505101520集 合 X和 集 合 Y的 三 维 散 点 图 结论：可以从图中看出，集合 Y 是集合 X 经过平移旋转之后得到的，且其与集合 X 正交。 2. Fisher线性判别分析线性判别分析 2.1 编写用 Fisher 线性判别方法，对三维数据求最优方向 w 的通用程序。 求最优方向的函数为：fisher()函数 2.2 对表格中的类别2w和3w，计算最优方向w。 类别2w和3w的最优

10、方向w为： 2.3 画出表示最优方向w的直线，并且标记出投影后的点在直线上的位置。 2.4 在这个子空间中，对每种分布用一维高斯函数拟合，即把投影后的每一类数据看作满足一维高斯分布，求出其均值和方差。并且求出分类决策面（两个一维高斯分布的交点处） 。 类别2w在最优方向w投影后数据的均值和方差为： 类别3w在最优方向w投影后数据的均值和方差为： -2-1012-1012-101234 最 优 方 向 及 样 本 点 投 影 后 在 直 线 上 的 位 置 第 2类 样 本 点第 3类 样 本 点最 优 方 向 -1-0.8-0.6-0.4-0.200.20.40.60.81-0.500.511

11、.522.533.54两 类 样 本 投 影 后 的 一 维 高 斯 分 布 第 2类 投 影 一 维 高 斯第 3类 投 影 一 维 高 斯决 策 面第 2类 正 确 分 类第 3类 正 确 分 类 2.5 计算得到的分类器的训练误差。 2.6 使用非最优方向(1.0,2.0, 1.5)tw重复实验 2.4、2.5 两个步骤，计算在这个非最优子空间中的训练误差。 类别2w在最优方向w投影后数据的均值和方差为： 类别3w在最优方向w投影后数据的均值和方差为： -505101520-0.200.20.40.60.811.2两 类 样 本 投 影 后 的 一 维 高 斯 分 布 第 2类 投 影

12、一 维 高 斯第 3类 投 影 一 维 高 斯决 策 面第 2类 正 确 分 类第 3类 正 确 分 类 计算得到的分类器的训练误差： 2.7 实验结果分析 通过对比 fisher 线性判别方法找的最优方向与非最优方向的分类结果，前者的效果不如后者。由于样本点的个数不能反映真实的误差情况，需要更多的样本点来验证最优方向的分类效果要好于非最优方向。 附录附录 1. PCA 主分量主分量分析分析 %生成 1000 个二维样本矢量数据集合 mu1=5 7; sigma1=9 0.4;0.4 1; X1=mvnrnd(mu1,sigma1,1000); plot(X1(:,1),X1(:,2),.);

13、 title(1000 个二维高斯分布的二维散点图); grid on; hold on; %计算样本集合的均值向量和散布矩阵，计算散布矩阵的 %特征值和特征向量，并画出每一个特征向量方向的直线 mu,S,V ,D=PCA(X1); %生成 1000 个三维样本矢量数据集合 mu2=4 5 9; sigma2=4 0.2 0;0.2 2 0;0 0 0.5; X2=mvnrnd(mu2,sigma2,1000); scatter3(X2(:,1),X2(:,2),X2(:,3),.); title(1000 个三维高斯分布的三维散点图); grid on; hold on; %计算样本集合的均

14、值向量和散布矩阵，计算散布矩阵的 %特征值和特征向量，并画出每一个特征向量方向的直线 mu,S,V ,D=PCA(X2); %计算样本集合的均值向量和散布矩阵，计算散布矩阵的 %特征值和特征向量，并画出每一个特征向量方向的直线 function mu,S,V ,D = PCA(X) %r,N 分别为样本集合，样本点数 %mu 为均值向量，S 为散布矩阵，V ,D 为散布矩阵的特征向量和特征值 color=r,r-.,r:; x,y,z=size(X); %计算样本集合的均值向量和散布矩阵 sum=0; for i=1:1:x sum=sum+X(i,:,:); end %均值向量 mu=sum

15、/x; %散布矩阵 S=0; for i=1:1:x S=S+(X(i,:,:)-mu)*(X(i,:,:)-mu); end %计算散布矩阵的特征值和特征向量 %V 为特征向量，D 为特征值 V ,D=eig(S); %对集合的每一个向量 x 进行变换 for i=1:1:x Y(i,:)=(V*(X(i,:,:)-mu); end if y=2 %画出每一个特征向量方向的直线 for i=1:y quiver(mu(1),mu(2),10*V(1,i),10*V(2,i),char(color(i); hold on; end legend(样本,第一特征向量,第二特征向量); %集合 X

16、 和集合 Y 的二维散点图 figure; plot(X(:,1),X(:,2),+); hold on; for i=1:y quiver(mu(1),mu(2),10*V(1,i),10*V(2,i),char(color(i); hold on; end plot(Y(:,1),Y(:,2),r*); hold on; 2. Fisher 线性判别分析线性判别分析 %fisher 线性判别 w(:,:,1)=0.42 -0.087 0.58; -0.2 -3.3 -3.4; 1.3 -0.32 1.7; 0.39 0.71 0.23; -1.6 -5.3 -0.15; -0.029 0.

17、89 -4.7; -0.23 1.9 2.2; 0.27 -0.3 -0.87; -1.9 0.76 -2.1; 0.87 -1.0 -2.6; w(:,:,2)=-0.4 0.58 0.089; -0.31 0.27 -0.04; 0.38 0.055 -0.035; -0.15 0.53 0.011; -0.35 0.47 0.034; 0.17 0.69 0.1; -0.011 0.55 -0.18; -0.27 0.61 0.12; -0.065 0.49 0.0012; -0.12 0.054 -0.063; w(:,:,3)=0.83 1.6 -0.014; 1.1 1.6 0.4

18、8; -0.44 -0.41 0.32; 0.047 -0.45 1.4; 0.28 0.35 3.1; -0.39 -0.48 0.11; 0.34 -0.079 0.14; -0.3 -0.22 2.2; 1.1 1.2 -0.46; 0.18 -0.11 -0.49; %求最优方向 % W=fisher(w(:,:,2),w(:,:,3); %非最优方向 W=1.0 2.0 -1.5; %第 2,3 类样本点 plot3(w(:,1,2),w(:,2,2),w(:,3,2),ro); hold on; plot3(w(:,1,3),w(:,2,3),w(:,3,3),b); hold o

19、n; %最优方向的直线 plot3(-4*W(1) 4*W(1),-4*W(2) 4*W(2),-4*W(3) 4*W(3); grid on; hold on; W1=W; W1= W1/sqrt(sum(W1.2); %第 2 类样本在最优方向直线上投影的位置 for i=1:10 z1(i)=W1*w(i,:,2); plot3(z1(i)*W1(1),z1(i)*W1(2),z1(i)*W1(3),ro); plot3(w(i,1,2) z1(i)*W1(1),w(i,2,2) z1(i)*W1(2),w(i,3,2) z1(i)*W1(3); hold on; end %第 3 类样

20、本在最优方向直线上投影的位置 for i=1:10 z2(i)=W1*w(i,:,3); plot3(z2(i)*W1(1),z2(i)*W1(2),z2(i)*W1(3),b); plot3(w(i,1,3) z2(i)*W1(1),w(i,2,3) z2(i)*W1(2),w(i,3,3) z2(i)*W1(3); hold on; end title(最优方向及样本点投影后在直线上的位置); legend(第 2 类样本点,第 3 类样本点,最优方向); for i=1:10 s1(i)=W*w(i,:,2); s2(i)=W*w(i,:,3); end %第 2 类样本投影后的均值和方

21、差 mu1,sigma1=normfit(s1); %第 3 类样本投影后的均值和方差 mu2,sigma2=normfit(s2); figure; % 第 2 类样本投影后的一维高斯分布 x1=-4:0.01:16; y1=normpdf(x1,mu1,sigma1); plot(x1,y1,r-); hold on; % 第 3 类样本投影后的一维高斯分布 x2=-4:0.01:16; y2=normpdf(x2,mu2,sigma2); plot(x2,y2,b-); if (mu2 mu1) xt = mu1:0.01:mu2; else if (mu2 mu1) xt = mu2:

22、0.01:mu1; end end % 产生决策面 y1 = normpdf(xt,mu1,sigma1); y2 = normpdf(xt,mu2,sigma2); %两个一维高斯分布的交点处 y0 = find(abs(y1-y2) P2(i) plot(s1(i),P1(i),ro); hold on; j = j + 1; %计算正确分类的样本数 else plot(s1(i),P1(i),b+); end if (P4(i) P3(i) plot(s2(i),P4(i),b); hold on; k=k + 1; %计算正确分类的样本数 else plot(s2(i),P4(i),r

23、+); end end title(两类样本投影后的一维高斯分布); legend(第 2 类投影一维高斯,第 3 类投影一维高斯,决策面,第 2 类正确分类,第 3 类正确分类); grid on; m = j / 10; n = k / 10; disp(使用非最优方向 w=,num2str(W),时,第 2 类的错分点个数为： ,num2str(10 - j); disp(使用非最优方向 w=,num2str(W),时,第 2 类的分类准确率为：,num2str(m * 100),%); disp(使用非最优方向w=,num2str(W),时,第二类的错分点个数为： ,num2str(1

24、0 - k); disp(使用非最优方向 w=,num2str(W),时,第二类的分类准确率为：,num2str(n * 100),%); %fisher 线性判别方法，对三维数据求最优方向 function w= fisher(r1,r2) %r1,r2 为两类样本集合 %w 为最优方向 x1,y1=size(r1); x2,y2=size(r2); %样本均值 k=0; for i=1:1:x1 k=k+r1(i,:,:); end m1=k/x1; %第一类样本均值 n=0; for i=1:1:x2 n=n+r2(i,:,:); end m2=n/x2; %第二类样本均值 %类内散布矩阵 S1=zeros(3,3); for i=1:1:x1 S1=S1+(r1(i,:,:)-m1)*(r1(i,:,:)-m1); end S2=zeros(3,3); for i=1:1:x2 S2=S2+(r2(i,:,:)-m2)*(r2(i,:,:)-m2); end %总类内散布矩阵 Sw=S1+S2; %最优方向 w=inv(Sw)*(m1-m2);