利用SVM实现一个三类分类问题（转贴）

frogfish

一．任务要求
用SVM求解一个三类分类问题，实验数据为“鸢尾属植物数据集”，核函数为径向基核函数（RBF），误差评测标准为K折交叉确认误差。

二．实验方案
1． 用quadprog函数实现C-SVC来进行分类
——quadprog是matlab中一个求解二次规划的函数，通过适当的参数设置，可以利用quadprog函数实现C-SVC
2． 用matlab自带的SVM工具包来实现分类
——matlab2006版本中集成了SVM工具包，可以通过调用工具包中的svmtrain和svmclassify函数来进行训练和分类
3． 三类问题的分类方法
——将三类问题转化为三个两类问题，分别求出相应的决策函数即可（优点：方法简单易行；缺点：容易形成死区）

三．实验程序
1． 用Quadprog实现

1. clear all
   
2. % Load the data and select features for classification
   
3. load fisheriris;
   
4. data = meas;
   
5. %Get the size of the data
   
6. N = size(data,1);
   
7. % Extract the Setosa class
   
8. groups_temp = ismember(species,'versicolor');%versicolor,virginica,setosa
   
9. %convert the group to 1 & -1
   
10. groups = 2*groups_temp - ones(N,1);
    
11. 
    
12. indices = crossvalind('Kfold', groups);
    
13. 
    
14. ErrorMin = 1;
    
15. for r=1:1:5
    
16.     for C=1:1:5
    
17.         ErrorNum = 0;        
    
18.         for i=1:5
    
19.             %Use K-fold to get train data and test data
    
20.             test = (indices == i); train = ~test;
    
21.             
    
22.             traindata = data(train,:);
    
23.             traingroup = groups(train,:);
    
24.             trainlength = length(traingroup);
    
25.             
    
26.             testdata = data(test,:);
    
27.             testgroup = groups(test,:);
    
28.             testlength = length(testgroup);
    
29.             
    
30.             %Get matrix H of the problem
    
31.             kfun = [];
    
32.             for i=1:1:trainlength
    
33.                 for j=1:1:trainlength
    
34.                     %rbf kernel
    
35.                     kfun(i,j)=exp(-1/(r^2)*(traindata(i,:)-traindata(j,:))*(traindata(i,:)-traindata(j,:))');
    
36.                 end
    
37.             end
    
38. 
    
39.             %count parameters of quadprog function
    
40.             H = (traingroup*traingroup').*kfun;
    
41.             xstart = zeros(trainlength,1);
    
42.             f = -ones(trainlength,1);
    
43.             Aeq = traingroup';
    
44.             beq = 0;
    
45.             lb = zeros(trainlength,1);
    
46.             ub = C*ones(trainlength,1);
    
47.             
    
48.             [alpha,fval] = quadprog(H,f,[],[],Aeq,beq,lb,ub,xstart);
    
49.             
    
50.             %Get one of the non-zero part of vector alpha to count b
    
51.             j = 1;
    
52.             for i=1:size(alpha)
    
53.                 if(alpha(i)>(1e-5))
    
54.                     SvmClass_temper(j,:) = traingroup(i);
    
55.                     SvmAlpha_temper(j,:) = alpha(i);
    
56.                     SvmVector_temper(j,:)= traindata(i,:);
    
57.                     j = j + 1;
    
58.                     tag = i;
    
59.                 end
    
60.             end
    
61.             
    
62.             b=traingroup(tag)-(alpha.*traingroup)'*kfun(:,tag);
    
63.             
    
64.             %Use the function to test the test data
    
65.             kk = [];
    
66.             for i=1:testlength
    
67.                 for j=1:trainlength
    
68.                     kk(i,j)=exp(-1/(r^2)*(testdata(i,:)-traindata(j,:))*(testdata(i,:)-traindata(j,:))');
    
69.                 end
    
70.             end
    
71. 
    
72.             %then count the function
    
73.             f=(alpha.*traingroup)'*kk' + b;           
    
74.             for i=1:length(f)
    
75.                 if(f(i)>(1e-5))
    
76.                     f(i)=1;
    
77.                 else
    
78.                     f(i)=-1;
    
79.                 end
    
80.             end         
    
81.             
    
82.             for i=1:length(f)
    
83.                 if(testgroup(i)~=f(i))
    
84.                     ErrorNum = ErrorNum + 1;
    
85.                 end
    
86.             end         
    
87.         end
    
88.         
    
89.         ErrorRate = ErrorNum / N;
    
90.         
    
91.         if(ErrorRate<ErrorMin)
    
92.             SvmClass = SvmClass_temper;
    
93.             SvmAlpha = SvmAlpha_temper;
    
94.             SvmVector = SvmVector_temper;
    
95.             ErrorMin = ErrorRate;
    
96.             CorrectRate = 1 - ErrorRate;
    
97.             Coptimal = C;
    
98.             Roptimal = r;
    
99.         end
    
100.         
     
101.     end
     
102. end            

复制代码

frogfish

2． 用SVM工具包实现

1. clear all
   
2. % Load the data and select features for classification
   
3. load fisheriris
   
4. % data = [meas(:,3),meas(:,4)];
   
5. data=meas;
   
6. % Extract the Setosa class
   
7. groups = ismember(species,'versicolor');%versicolor,virginica,setosa
   
8. % Randomly select training and test sets
   
9. index = crossvalind('Kfold',groups);
   
10. cp = classperf(groups);
    
11. 
    
12. fr=0;
    
13. fc=0;
    
14. fcorrect=0;
    
15. correct5=0;
    
16. 
    
17. for r=1:1:10
    
18.     for c=1:1:100
    
19.         for i=1:5
    
20.             test = (index == i); train = ~test;
    
21.             % Use a RBF support vector machine classifier
    
22.             %         svmStruct = svmtrain(data(train,:),groups(train),'KERNEL_FUNCTION','rbf','kfunargs',5,'boxconstraint',1000,'showplot',true);
    
23.             %         classes = svmclassify(svmStruct,data(test,:),'showplot',true);
    
24.             svmStruct = svmtrain(data(train,:),groups(train),'KERNEL_FUNCTION','rbf','kfunargs',1/(r^2),'boxconstraint',c);
    
25.             classes = svmclassify(svmStruct,data(test,:));
    
26.             % See how well the classifier performed
    
27.             classperf(cp,classes,test);
    
28.             %             cp.CorrectRate
    
29.             correct5=correct5+cp.CorrectRate/5;
    
30.         end
    
31.         r
    
32.         c
    
33.         correct5
    
34.         if(fcorrect<correct5)
    
35.             fcorrect=correct5
    
36.             fr=r
    
37.             fc=c
    
38.         end
    
39.         correct5=0;
    
40.     end
    
41. end

复制代码

frogfish

四．实验结果
1． Quadprog实现
(1)类别：versicolor 参数：r(1-10) C(1-100)
      运行结果：
CorrectRate =0.9696 Roptimal =1   Coptimal =2
(2)类别：virginica 参数：r(1-10) C(1-100)
      运行结果：
CorrectRate =0.9430 Roptimal =1   Coptimal =2
(3)类别：setosa    参数：r(1-10) C(1-100)
      运行结果：
CorrectRate =1 Roptimal =1   Coptimal =1
2． SVM工具包实现
(1)类别：versicolor 参数：r(1-5) C(1-50)
      运行结果：
CorrectRate =1 Roptimal =2   Coptimal =22
(2)类别：virginica  参数：r(1-5) C(1-50)
      运行结果：
CorrectRate =0.9867 Roptimal =10   Coptimal =44
(3)类别：setosa    参数：r(1-10) C(1-100)
      运行结果：
CorrectRate =1 Roptimal =1   Coptimal =1

navyman

无法运行，indices = crossvalind('Kfold', groups);出错，请求帮助！

xiaokang

crossvalind  这是个什么函数啊？那个库里有呢？

天下大平

Error: The input character is not valid in MATLAB statements or expressions.

junjunyeti

如果只有两种类型的训练数据，能不能分出三类，也就是除了分出这两点之外，能不能把阈值之外的算作第三类，第三类是虚拟的，三是没有特征数据

晨风无影

特征数据