论坛 › 算法及编程语言 › [转帖]BP神经网络源程序

风花雪月 发表于 2005-9-29 08:47

[转帖]BP神经网络源程序

基于C开发的三个隐层神经网络，输出权值、阈值文件，训练样本文件，提供如下函数：
1）初始化权、阈值子程序；
2）第m个学习样本输入子程序；
3）第m个样本教师信号子程序；
4）隐层各单元输入、输出值子程序；
5）输出层各单元输入、输出值子程序；
6）输出层至隐层的一般化误差子程序；
7）隐层至输入层的一般化误差子程序；
8）输出层至第三隐层的权值调整、输出层阈值调整计算子程序；
9）第三隐层至第二隐层的权值调整、第三隐层阈值调整计算子程序；
10）第二隐层至第一隐层的权值调整、第二隐层阈值调整计算子程序；
11）第一隐层至输入层的权值调整、第一隐层阈值调整计算子程序；
12）N个样本的全局误差计算子程序。

#include "iostream.h"
#include "iomanip.h"
#include "stdlib.h"
#include "math.h"
#include "stdio.h"
#include "time.h"
#include "fstream.h"
#define N 11 //学习样本个数
#define IN 5 //输入层神经元数目
#define HN 8 //隐层神经元数目
#define HC 3 //隐层层数
#define ON 3 //输出层神经元数目
#define Z 200000 //旧权值保存-》每次study的权值都保存下来
double P; //单个样本输入数据
double T; //单个样本教师数据
double U11; //输入层至第一隐层权值
double U12; //第一隐层至第二隐层权值
double U23; //第二隐层至第三隐层权值
double V; //第三隐层至输出层权值
double X1; //第一隐层的输入
double X2; //第二隐层的输入
double X3; //第三隐层的输入
double Y; //输出层的输入
double H1; //第一隐层的输出
double H2; //第二隐层的输出
double H3; //第三隐层的输出
double O; //输出层的输出
double YU_HN1; //第一隐层的阈值
double YU_HN2; //第二隐层的阈值
double YU_HN3; //第三隐层的阈值
double YU_ON; //输出层的阈值
double err_m; //第m个样本的总误差
double a; //学习效率
double alpha;//动量因子

//定义一个放学习样本的结构
struct {
double input; //输入在上面定义是五个       
double teach; //输出在上面定义是三个
}Study_Data;//学习样本

//bp算法用来保存每次计算的权值
struct {
double old_U11;//保存输入层至隐层权值旧权
double old_U12; //保存第一隐层至第二隐层权值
double old_U23; //保存第二隐层至第三隐层权值
double old_V;//保存第三隐层至输出层旧权
}Old_WV;


saveWV(int m)
{
        for(int i=0;i<HN;i++)
        {
                for(int j=0;j<IN;j++)
                {
                        Old_WV.old_U11 = U11;
                }
        }

        for(int i1=0;i1<HN;i1++)
        {
                for(int j1=0;j1<HN;j1++)
                {
                        Old_WV.old_U12 = U12;
                }
        }

        for(int i2=0;i2<HN;i2++)
        {
                for(int j2=0;j2<HN;j2++)
                {
                        Old_WV.old_U23 = U23;
                }
        }
        for(int i3=0;i3<ON;i3++)
        {
                for(int j3=0;j3<HN;j3++)
                {
                        Old_WV.old_V = V;
                }
        }
        return 1;
}
///////////////////////////
//初始化权、阈值子程序/////
///////////////////////////
initial()
{
//隐层权、阈值初始化//
        srand( (unsigned)time( NULL ) );

        for(int i=0;i<HN;i++)
        {
                for(int j=0;j<IN;j++)
                        U11= (double)((rand()/32767.0)*2-1); //初始化输入层到第一隐层的权值，随机模拟0 和 1 -1       
        }
        for(int i1=0;i1<HN;i1++)
        {
                for(int j1=0;j1<HN;j1++)
                        U12= (double)((rand()/32767.0)*2-1); //初始化第一隐层到第二隐层权值，随机模拟0 和 1 -1       
        }
        for(int i2=0;i2<HN;i2++)
        {
                for(int j2=0;j2<HN;j2++)
                        U23= (double)((rand()/32767.0)*2-1); //初始化第二隐层到第三隐层权值，随机模拟0 和 1 -1       
        }
        for(int i3=0;i3<ON;i3++)
        {
                for(int j3=0;j3<HN;j3++)
                        V= (double)((rand()/32767.0)*2-1); //初始化隐层到输出层的权值，随机模拟0 和 1 -1
        }
        for(int k=0;k<HN;k++)
        {
                YU_HN1 = (double)((rand()/32767.0)*2-1);//第一隐层阈值初始化 ,-0.01 ~ 0.01 之间
        }
        for(int k1=0;k1<HN;k1++)
        {
                YU_HN2 = (double)((rand()/32767.0)*2-1);//第二隐层阈值初始化 ,-0.01 ~ 0.01 之间
        }
    for(int k2=0;k2<HN;k2++)
        {
                YU_HN3 = (double)((rand()/32767.0)*2-1);//第三隐层阈值初始化 ,-0.01 ~ 0.01 之间
        }
        for(int kk=0;kk<ON;kk++)
        {
                YU_ON = (double)((rand()/32767.0)*2-1); //输出层阈值初始化 ,-0.01 ~ 0.01 之间
        }
return 1;
}//子程序initial()结束


////////////////////////////////
////第m个学习样本输入子程序///
///////////////////////////////
input_P(int m)
{
for (int i=0;i<IN;i++)
P=Study_Data.input;
//获得第m个样本的数据
return 1;
}//子程序input_P(m）结束

/////////////////////////////
////第m个样本教师信号子程序//
/////////////////////////////
input_T(int m)
{
for (int k=0;k<ON;k++)
T=Study_Data.teach;
return 1;
}//子程序input_T(m)结束


/////////////////////////////////
//隐层各单元输入、输出值子程序///
/////////////////////////////////
H_I_O()
{
double sigma1,sigma2,sigma3;
int i,i1,i2,j,j1,j2;
for (j=0;j<HN;j++)
{
sigma1=0.0;
        for (i=0;i<IN;i++)
                sigma1+=U11*P;//求第一隐层内积
               
X1=sigma1 - YU_HN1;//求第一隐层净输入
H1=1.0/(1.0+exp(-X1));//求第一隐层输出sigmoid算法
}
for (j1=0;j1<HN;j1++)
{
sigma2=0.0;
        for (i1=0;i1<HN;i1++)
                sigma2+=U12*H1;//求第二隐层内积
               
X2=sigma2 - YU_HN2;//求第二隐层净输入
H2=1.0/(1.0+exp(-X2));//求第二隐层输出sigmoid算法
}
for (j2=0;j2<HN;j2++)
{
sigma3=0.0;
        for (i2=0;i2<HN;i2++)
                sigma3+=U23*H2;//求第三隐层内积
               
X3=sigma3 - YU_HN3;//求第三隐层净输入
H3=1.0/(1.0+exp(-X3));//求第三隐层输出sigmoid算法
}
return 1;
}//子程序H_I_O()结束


///////////////////////////////////
//输出层各单元输入、输出值子程序///
///////////////////////////////////
O_I_O()
{
double sigma;
for (int k=0;k<ON;k++)
{
sigma=0.0;
for (int j=0;j<HN;j++)
{
sigma+=V*H3;//求输出层内积
}
Y=sigma-YU_ON; //求输出层净输入
O=1.0/(1.0+exp(-Y));//求输出层输出
}
return 1;
}//子程序O_I_O()结束


////////////////////////////////////
//输出层至隐层的一般化误差子程序////
////////////////////////////////////
double d_err;
Err_O_H(int m)
{
double abs_err;//每个样本的绝对误差都是从0开始的
double sqr_err=0;//每个样本的平方误差计算都是从0开始的
for (int k=0;k<ON;k++)
{
abs_err=T-O;
//求第m个样本下的第k个神经元的绝对误差
sqr_err+=(abs_err)*(abs_err);//求第m个样本下输出层的平方误差
d_err=abs_err*O*(1.0-O);//d_err输出层各神经元的一般化误差
}
err_m=sqr_err/2;//第m个样本下输出层的平方误差/2=第m个样本的均方误差
return 1;
}//子程序Err_O_H(m)结束


////////////////////////////////////
//隐层至输入层的一般化误差子程序////
////////////////////////////////////
double e_err3;//定义第三隐层各神经元的一般化误差
double e_err2;//定义第二隐层各神经元的一般化误差
double e_err1;//定义第一隐层各神经元的一般化误差
Err_H_I()
{
double sigma3,sigma2,sigma1;
for (int j3=0;j3<HN;j3++)
{
sigma3=0.0;
for (int k3=0;k3<ON;k3++)
{
      sigma3=d_err*V;
}
e_err3=sigma3*H3*(1-H3);//第三隐层各神经元的一般化误差
}
for (int j2=0;j2<HN;j2++)
{
sigma2=0.0;
for (int k2=0;k2<HN;k2++)
{
      sigma2=d_err*V;
}
e_err2=sigma2*H2*(1-H2);//第二隐层各神经元的一般化误差
}
for (int j1=0;j1<HN;j1++)
{
sigma1=0.0;
for (int k1=0;k1<HN;k1++)
{
      sigma1=d_err*V;
}
e_err1=sigma1*H1*(1-H1);//第一隐层各神经元的一般化误差
}
return 1;
}//子程序Err_H_I()结束


////////////////////////////////////////////////////////
//输出层至第三隐层的权值调整、输出层阈值调整计算子程序//////
////////////////////////////////////////////////////////
Delta_O_H3(int m,int n)
{
if(n<=1)
{
        for (int k=0;k<ON;k++)
        {
                for (int j=0;j<HN;j++)
                {
                        V=V-a*d_err*H3;//输出层至第三隐层的权值调整
                }
          YU_ON-=a*d_err;//输出层阈值调整
        }
}
else if(n>1)
{
        for (int k=0;k<ON;k++)
        {
                for (int j=0;j<HN;j++)
                {
                        V=V+a*d_err*H3+alpha*(V-Old_WV[(n-1)].old_V);//输出层至隐层的权值调整
                }
          YU_ON-=a*d_err;//输出层至隐层的阈值调整
        }
}
return 1;
}//子程序Delta_O_H3()结束



///////////////////////////////////////////////////////////////
//第三隐层至第二隐层的权值调整、第三隐层阈值调整计算子程序/////
///////////////////////////////////////////////////////////////
Delta_H3_H2(int m,int n)
{
if(n<=1)
{
        for (int k=0;k<HN;k++)
        {
                for (int j=0;j<HN;j++)
                {
                        U23=U23-a*e_err3*H2;//第二隐层至第三隐层层的权值调整
                }
          YU_HN3-=a*e_err3;//第三隐层阈值调整
        }
}               
else if(n>1)
{
        for (int k=0;k<HN;k++)
        {
                for (int j=0;j<HN;j++)
                {
                   U23=U23+a*e_err3*H2+alpha*(U23-Old_WV[(n-1)].old_U23);//第二隐层至第三隐层层的权值调整
                }
          YU_HN3-=a*e_err3;//第三隐层阈值调整
        }
}
return 1;
}//子程序Delta_H3_H2()结束


///////////////////////////////////////////////////////////////
//第二隐层至第一隐层的权值调整、第二隐层阈值调整计算子程序/////
///////////////////////////////////////////////////////////////
Delta_H2_H1(int m,int n)
{
if(n<=1)
{
        for (int k=0;k<HN;k++)
        {
                for (int j=0;j<HN;j++)
                {
                        U12=U12-a*e_err2*H1;//第一隐层至第二隐层层的权值调整
                }
          YU_HN2-=a*e_err2;//第二隐层阈值调整
        }
}               
else if(n>1)
{
        for (int k=0;k<HN;k++)
        {
                for (int j=0;j<HN;j++)
                {
                   U12=U12+a*e_err2*H1+alpha*(U12-Old_WV[(n-1)].old_U12);//第一隐层至第二隐层层的权值调整
                }
          YU_HN2-=a*e_err2;//第二隐层阈值调整
        }
}
return 1;
}//子程序Delta_H2_H1()结束


/////////////////////////////////////////////////////////////
//第一隐层至输入层的权值调整、第一隐层阈值调整计算子程序/////
/////////////////////////////////////////////////////////////
Delta_H1_I(int m,int n)
{

if(n<=1)
{
        for (int j=0;j<HN;j++)
        {
                for (int i=0;i<IN;i++)
                {
                        U11=U11+a*e_err1*P;//第一隐层至输入层的权值调整
                }
        YU_HN1+=a*e_err1;//第一隐层阈值调整
        }
}
else if(n>1)
{
        for (int j=0;j<HN;j++)
        {
                for (int i=0;i<IN;i++)
                {
                        U11=U11+a*e_err1*P+alpha*(U11-Old_WV[(n-1)].old_U11);//第一隐层至输入层的权值调整
                }
        YU_HN1+=a*e_err1;//第一隐层阈值调整
        }
}
return 1;
}//子程序Delta_H1_I()结束



/////////////////////////////////
//N个样本的全局误差计算子程序////
/////////////////////////////////
double Err_Sum()
{
double total_err=0;
for (int m=0;m<N;m++)
{
total_err+=err_m;//每个样本的均方误差加起来就成了全局误差
}
return total_err;
}//子程序Err_sum()结束



GetTrainingData()
{
        ifstream GetTrainingData ( "训练样本.txt", ios::in );

        for(int m=0;m<N;m++)
        {
                for(int i=0;i<IN;i++)
                {
                        GetTrainingData>>Study_Data.input;//取得输入数据
                }
                for(int j=0;j<ON;j++)
                {
                        GetTrainingData>>Study_Data.teach;//取得输出数据
                }
        }

        GetTrainingData.close();
        return 1;
}


void savequan()
{
        ofstream outQuanFile( "权值.txt", ios::out );
        ofstream outYuFile( "阈值.txt", ios::out );
        outQuanFile<<"A\n";
        for(int i=0;i<HN;i++)
        {
                for(int j=0;j<IN;j++)
                {
                        outQuanFile<<U11<<"   ";
                }
                outQuanFile<<"\n";

        }//取得输入层至第一隐层权值
        outQuanFile<<"B\n";
        for(int i1=0;i1<HN;i1++)
        {
                for(int j1=0;j1<HN;j1++)
                {
                        outQuanFile<<U12<<"   ";
                }
                outQuanFile<<"\n";
        }//取得第一隐层至第二隐层权值
        outQuanFile<<"C\n";
        for(int i2=0;i2<HN;i2++)
        {
                for(int j2=0;j2<HN;j2++)
                {
                        outQuanFile<<U23<<"   ";
                }
                outQuanFile<<"\n";

        }//取得第二隐层至第三隐层权值
        outQuanFile<<"D\n";
        for(int i3=0;i3<ON;i3++)
        {
                for(int j3=0;j3<HN;j3++)
                {
                        outQuanFile<<V<<"   ";
                }
                outQuanFile<<"\n";
        }//取得第三隐层至输出层权值
        outYuFile<<"\n第一隐层的阈值为:\n";
        for(int k1=0;k1<HN;k1++)
        {
                outYuFile<<YU_HN1<<"";//隐层阈值写入文本
        }
        outYuFile<<"\n第二隐层的阈值为:\n";
        for(int k2=0;k2<HN;k2++)
        {
                outYuFile<<YU_HN2<<"";//隐层阈值写入文本
        }
        outYuFile<<"\n第三隐层的阈值为:\n";
        for(int k3=0;k3<HN;k3++)
        {
                outYuFile<<YU_HN3<<"";//隐层阈值写入文本
        }
        outYuFile<<"输出层的阈值为:\n";
        for(int k=0;k<ON;k++)
        {
                outYuFile<<YU_ON<<"";//输出层阈值写入文本
        }
        outQuanFile.close();
}
/**********************/
/**程序入口，即主程序**/
/**********************/
void main()
{

double sum_err;
int study;//训练次数
double a = 0.6;//学习速率，即步长
double alpha = 0.8;//动量因子
study=0; //学习次数
double Pre_error ; //预定误差
Pre_error = 0.0001;
int Pre_times;
Pre_times = 200;
GetTrainingData();//输入样本 (1)
initial(); //隐层、输出层权、阈值初始化(2)
do
{
++study;
for (int m=0;m<N;m++)
{
input_P(m); //输入第m个学习样本
input_T(m);//输入第m个样本的教师信号
H_I_O(); //第m个学习样本隐层各神经元输入、输出值
O_I_O(); //第m个学习样本输出层各神经元输入、输出值 (3)
Err_O_H(m); //第m个学习样本输出层至隐层一般化误差
Err_H_I(); //第m个学习样本隐层至输入层一般化误差 (4)
Delta_O_H3(m,study); //第m个学习样本输出层至第三隐层权值、阈值调整、修改
Delta_H3_H2(m,study); //第m个学习样本第三隐层至第二隐层的权值、阈值调整、修改
Delta_H2_H1(m,study); //第m个学习样本第二隐层至第一隐层的权值、阈值调整、修改
Delta_H1_I(m,study); //第m个学习样本第一隐层至输入层的权值、阈值调整、修改(5)
} //全部样本训练完毕
sum_err=Err_Sum(); //全部样本全局误差计算
saveWV(study);//把本次的学习权值全保存到数组
cout<<"第"<<study<<"次学习的均方误差为"<<sum_err<<endl;
}while (sum_err > Pre_error);         //(6)
cout<<"网络已经学习了"<<study<<"次,学习的均方误差为"<<sum_err<<endl;
savequan();
}

[ 本帖最后由 风花雪月 于 2006-10-12 09:54 编辑 ]

yshlin 发表于 2006-5-21 15:37

看了你写的程序，很好，很经典！谢谢系主任！

恩熙0326 发表于 2006-5-21 18:02

请问风花雪月：这个程序的目的是要干什么啊，为什么运行完了之后只出来一个simulink界面下的结构图呢？我在这里等你回答阿~

chengzhefeng 发表于 2007-7-16 11:17

原帖由 恩熙0326 于 2006-5-21 18:02 发表 http://www.chinavib.com/forum/images/common/back.gif
请问风花雪月：这个程序的目的是要干什么啊，为什么运行完了之后只出来一个simulink界面下的结构图呢？我在这里等你回答阿~
同问，程序的使用目的是什么？

frogfish 发表于 2007-7-19 07:22

原帖由 chengzhefeng 于 2007-7-16 11:17 发表 http://www.chinavib.com/forum/images/common/back.gif

同问，程序的使用目的是什么？

看看main的注释就知道了

hahaer 发表于 2007-7-21 13:35

楼主的程序麻烦了很多
其实你用C++封装成类后更方便也更具有实用性
这个程序应该是你转贴的
神经网络实用教程里有这段源码:loveliness:

frogfish 发表于 2007-7-24 16:33

原帖由 hahaer 于 2007-7-21 13:35 发表 http://www.chinavib.com/forum/images/common/back.gif
楼主的程序麻烦了很多
其实你用C++封装成类后更方便也更具有实用性
这个程序应该是你转贴的
神经网络实用教程里有这段源码:loveliness:

题目中已经标明是转贴了

zzushi 发表于 2007-7-26 18:16

该程序是用来训练神经网络的,在确定好神经网络的结构后用该程序来调节网络的权值,阈值等各种参数直至满足误差要求为止.然后程序保存训练完成的参数,作为一个已训练完成的神经网络来使用.
第一次写东西,如有错误请给予指点.

kelvincheung 发表于 2008-7-24 17:14

回复 8楼 的帖子

不知道楼主在进行权值调整时为啥有时a,b前面用加号，有时是减号，阈值也是的，麻烦解释一下，多谢

elliottboy 发表于 2008-8-18 17:17

谢谢楼主啊 呵呵 仔细研究一下

elliottboy 发表于 2008-8-19 15:44

请楼主帮忙 问一下怎么改写成Matlab的程序啊 ？？？？？？？？、

fit-fit 发表于 2008-11-5 15:09

这学期选了智能系统的课，老师布置了作业——BP算法c语言实现，用它来解决XOR问题。
C语言学得不扎实，只能下载楼主的代码来好好研究一下。非常感谢各位有心人！

fit-fit 发表于 2008-11-6 19:45

昨天晚上看了一下主任的BP代码，里面是不是有地方错了！

//隐层各单元输入、输出值子程序///

H_I_O()
{
double sigma1,sigma2,sigma3;
int i,i1,i2,j,j1,j2;
for (j=0;j<HN;j++)
{
sigma1=0.0;
      for (i=0;i<IN;i++)
                sigma1+=U11*P;//求第一隐层内积
               
X1=sigma1 - YU_HN1;//求第一隐层净输入
H1=1.0/(1.0+exp(-X1));//求第一隐层输出sigmoid算法
}
for (j1=0;j1<HN;j1++)
{
sigma2=0.0;
      for (i1=0;i1<HN;i1++)
                sigma2+=U12*H1;//求第二隐层内积
               
X2=sigma2 - YU_HN2;//求第二隐层净输入
H2=1.0/(1.0+exp(-X2));//求第二隐层输出sigmoid算法
}
for (j2=0;j2<HN;j2++)
{
sigma3=0.0;
      for (i2=0;i2<HN;i2++)
                sigma3+=U23*H2;//求第三隐层内积
               
X3=sigma3 - YU_HN3;//求第三隐层净输入
H3=1.0/(1.0+exp(-X3));//求第三隐层输出sigmoid算法
}
return 1;
}//子程序H_I_O()结束

上面程序中：第二隐层的净输入应该是X2，第二隐层输出sigmoid算法应该是H2；
            第三隐层的净输入应该是X3，第三隐层输出sigmoid算法应该是H3；

查看完整版本: [转帖]BP神经网络源程序