bp2.txt

基于梯度下降的BP算法,可以调整学习率可动量因子.

#include "iostream.h"
#include "iomanip.h"
#include <cmath>
#include <cstdlib>
#include "fstream.h"
#include "stdio.h"

#define N 11 //学习样本个数
#define IN 1 //输入层神经元数目
#define HN 5 //隐层神经元数目
#define ON 1 //输出层神经元数目

double P[IN]; //单个样本输入数据
double T[ON]; //单个样本教师数据

double W[HN][IN]; //输入层至隐层权值
double V[ON][HN]; //隐层至输出层权值
double FW[HN][IN]; //k-1次输入层至隐层权值
double FV[ON][HN]; //k-1次隐层至输出层权值
double DW[HN][IN]; //输入层至隐层权值增量
double DV[ON][HN]; //隐层至输出层权值增量

double X[HN]; //隐层的输入
double Y[ON]; //输出层的输入
double H[HN]; //隐层的输出
double O[ON]; //输出层的输出

double sita[HN]; //隐层的阈值
double gama[ON]; //输出层的阈值

double err_m[N]; //第m个样本的总误差
double d_err[ON];//输出层各神经元的一般化误差
double e_err[HN];//隐层各神经元的一般化误差

double alpha; //输出层至隐层的学习效率
double beta; //隐层至输入层学习效率
double mc;   //动量因子		
double input[N][IN];//样本输入数据矩阵
double teach[N][ON];//样本教师数据矩阵

double input1[N][IN];
double teach1[N][ON];
double inputm[IN][2];
double teachm[ON][2];
///////////////////
//归一化子程序/////
///////////////////
guiyihua_input()
{double min;
 double max;
for(int j=0;j<IN;j++)
  {min=input[0][j];
   max=input[0][j];
   for(int i=0;i<N;i++)
   { if (input[i][j]<min)
     min=input[i][j];
     if (input[i][j]>max)
     max=input[i][j];
   }
    inputm[j][0]=min;
    inputm[j][1]=max;
  }
 for(int k=0;k<IN;k++)
  for(int i=0;i<N;i++)
   input1[i][k]=2*(input[i][k]-inputm[k][0])/(inputm[k][1]-inputm[k][0])-1;
  return 1;
}

guiyihua_teach()
{double min;
 double max;
for(int j=0;j<ON;j++)
  {min=teach[0][j];
   max=teach[0][j];
   for(int i=0;i<N;i++)
   { if (teach[i][j]<min)
     min=teach[i][j];
     if (teach[i][j]>max)
     max=teach[i][j];
   }
    teachm[j][0]=min;
    teachm[j][1]=max;
  }
 for(int k=0;k<ON;k++)
  for(int i=0;i<N;i++)
   teach1[i][k]=2*(teach[i][k]-teachm[k][0])/(teachm[k][1]-teachm[k][0])-1;
  return 1;
}

///////////////////////////
//初始化权、阈值子程序/////
///////////////////////////
initial()
{
double rnd;
//隐层权、阈值初始化//
for (int j=0;j<HN;j++)
{for (int i=0;i<IN;i++)
  {rnd=rand();
   W[j][i]= rnd/32767;//隐层权值初始化。
   cout<<"W["<<j+1<<"]["<<i+1<<"]="<<W[j][i]<<endl;}
  rnd=rand();
  sita[j]= rnd/32767;//中间层阈值初始化
  cout<<"sita["<<j+1<<"]="<<sita[j]<<endl;
}
 
//输出层权、阈值初始化//
for (int k=0;k<ON;k++)
{ for (int j=0;j<HN;j++) 
{   rnd=rand();
    V[k][j]=rnd/32767;//第m个样本输出层权值初始化
    cout<<"V["<<k+1<<"]["<<j+1<<"]="<<V[k][j]<<endl;
}
  rnd=rand();
  gama[k]=rnd/32767;//输出层阈值初始化
  cout<<"gama["<<k+1<<"]="<<gama[k]<<endl;
 }
//隐层权、输出层权增量初始化//
for (int m=0;m<HN;m++)
 for (int i=0;i<IN;i++)
 DW[m][i]= 0;
for (int n=0;n<ON;n++)
 for (int j=0;j<HN;j++) 
 DV[n][j]=0;

  return 1;
 
}//子程序initial()结束

////////////////////////////////
////第m个学习样本输入子程序///
///////////////////////////////
input_P(int m)
{
for (int i=0;i<IN;i++)
  P[i]=input1[m][i];//获得第m个样本的数据
return 1;
}//子程序input_P(m）结束

/////////////////////////////
////第m个样本教师信号子程序//
/////////////////////////////
input_T(int m)
{
for (int k=0;k<ON;k++)
  T[k]=teach1[m][k];
return 1;
}//子程序input_T(m)结束

Save_W()
{
for (int j=0;j<HN;j++)
 for (int i=0;i<IN;i++)
  FW[j][i]=W[j][i];
  return 1;
}

Save_V()
{
for (int k=0;k<ON;k++)
 for (int j=0;j<HN;j++) 
    FV[k][j]=V[k][j];
    return 1;
}

Delta_W()
{for (int j=0;j<HN;j++)
 for (int i=0;i<IN;i++)
  DW[j][i]=W[j][i]-FW[j][i];
  return 1;}

Delta_V()
{for (int k=0;k<ON;k++)
 for (int j=0;j<HN;j++) 
    DV[k][j]=V[k][j]-FV[k][j];
    return 1;}

/////////////////////////////////
//隐层各单元输入、输出值子程序///
/////////////////////////////////
H_I_O(){
double sigma;
int i,j;
for (j=0;j<HN;j++)
{sigma=0.0;
for (i=0;i<IN;i++)
  sigma+=W[j][i]*P[i];//求隐层内积
X[j]=sigma - sita[j];//求隐层净输入
H[j]=1.0/(1.0+exp(-X[j]));//求隐层输出
}
return 1;
}//子程序H_I_O()结束


///////////////////////////////////
//输出层各单元输入、输出值子程序///
///////////////////////////////////
O_I_O()
{
double sigma;
for (int k=0;k<ON;k++)
{sigma=0.0;
for (int j=0;j<HN;j++)
  sigma+=V[k][j]*H[j];//求输出层内积
Y[k]=sigma-gama[k]; //求输出层净输入
O[k]=1.0/(1.0+exp(-Y[k]));//求输出层输出
}
return 1;
}//子程序O_I_O()结束


////////////////////////////////////
//输出层至隐层的一般化误差子程序////
////////////////////////////////////

Err_O_H(int m)
{
 double abs_err[ON];//每个样本的绝对误差都是从0开始的
 double sqr_err=0;//每个样本的平方误差计算都是从0开始的
 for (int k=0;k<ON;k++)
  { abs_err[k]=T[k]-O[k];//求第m个样本下的第k个神经元的绝对误差
    sqr_err+=(abs_err[k])*(abs_err[k]);//求第m个样本下输出层的平方误差
    d_err[k]=abs_err[k]*O[k]*(1.0-O[k]);//d_err[k]输出层各神经元的一般化误差
  }
  err_m[m]=sqr_err/2;//第m个样本下输出层的平方误差/2=第m个样本的均方误差
  return 1;
}//子程序Err_O_H(m)结束


////////////////////////////////////
//隐层至输入层的一般化误差子程序////
////////////////////////////////////

Err_H_I()
{
double sigma;
//for (int hidden=0;hidden
  for (int j=0;j<HN;j++) 
  {sigma=0.0;
     for (int k=0;k<ON;k++) 
      sigma+=d_err[k]*V[k][j];
  
  e_err[j]=sigma*H[j]*(1-H[j]);//隐层各神经元的一般化误差
}
return 1;
}//子程序Err_H_I()结束


////////////////////////////////////////////////////////
//输出层至隐层的权值调整、输出层阈值调整计算子程序//////
////////////////////////////////////////////////////////
Delta_O_H(int m)
{
for (int k=0;k<ON;k++)
{ for (int j=0;j<HN;j++)
   V[k][j]=V[k][j]+alpha*d_err[k]*H[j]+mc*DV[k][j];//输出层至隐层的权值调整
  gama[k]+=alpha*d_err[k];}//输出层至隐层的阈值调整

return 1;
}//子程序Delta_O_H()结束
/////////////////////////////////////////////////////
//隐层至输入层的权值调整、隐层阈值调整计算子程序/////
/////////////////////////////////////////////////////
Delta_H_I(int m)
{
for (int j=0;j<HN;j++)
{for (int i=0;i<IN;i++) 
   W[j][i]=W[j][i]+beta*e_err[j]*P[i]+mc*DW[j][i];//隐层至输入层的权值调整
 sita[j]+=beta*e_err[j];}
return 1;
}//子程序Delta_H_I()结束


/////////////////////////////////
//N个样本的全局误差计算子程序////
/////////////////////////////////
double Err_Sum()
{
double total_err=0;
for (int m=0;m<N;m++) 
  total_err+=err_m[m];//每个样本的均方误差相加构成全局误差
return total_err;
}//子程序Err_sum()结束


GetTrainingData()
{
	ifstream GetTrainingData ( "训练样本.txt", ios::in );

	for(int m=0;m<N;m++)
	{
		for(int i=0;i<IN;i++)
		{
			GetTrainingData>>input[m][i];  //取得输入数据
		}
		for(int j=0;j<ON;j++)
		{
			GetTrainingData>>teach[m][j];  //取得输出数据
		}
	}

	GetTrainingData.close();
	return 1;
}


void savequan()
{
	ofstream outQuanFile( "权值.txt", ios::out );
	ofstream outYuFile( "阈值.txt", ios::out );
	outQuanFile<<"W\n";
	for(int j=0;j<HN;j++)
	{
		for(int i=0;i<IN;i++)
		{
			outQuanFile<<W[j][i]<<"   "; 
		}
		outQuanFile<<"\n";

	}//取得输入层至隐层权值
	
	outQuanFile<<"V\n";
	for(int k=0;k<ON;k++)
	{
		for(int j=0;j<HN;j++)
		{
			outQuanFile<<V[k][j]<<"   ";
		}
		outQuanFile<<"\n";
	}//取得隐层至输出层权值

	outYuFile<<"\n隐层的阈值为:\n";
	for(int j1=0;j1<HN;j1++)
	{
		outYuFile<<sita[j1]<<"  ";  //隐层阈值写入文本
	}

	outYuFile<<"\n输出层的阈值为:\n";
	for(int k1=0;k1<ON;k1++)
	{
		outYuFile<<gama[k1]<<"  ";  //输出层阈值写入文本
	}
	outQuanFile.close();
	outYuFile.close();
}


/**********************/
/**程序入口，即主程序**/
/**********************/
main()
{

double sum_err;


cout<<"请输入输出层到隐含层学习速率: alpha=\n";
cin>>alpha;
cout<<"请输入隐含层到输入层学习速率: beta=\n";
cin>>beta;
cout<<"请输入动量因子: mc=\n";
cin>>mc;
int study=0; //学习次数
double Pre_error ; //预定误差
cout<<"请输入预定误差: Pre_error= \n";
cin>>Pre_error;
int Pre_times;
cout<<"请输入预定最大学习次数:Pre_times=\n";
cin>>Pre_times;

GetTrainingData();//输入样本

guiyihua_input();
guiyihua_teach();
initial(); //隐层、输出层权、阈值初始化 (1) 

do
{
study++; 
for (int m=0;m<N;m++) 
{
input_P(m); //输入第m个学习样本 (2)
input_T(m);//输入第m个样本的教师信号 (3)
H_I_O(); //第m个学习样本隐层各单元输入、输出值 (4)
O_I_O(); //第m个学习样本输出层各单元输入、输出值 (5)
Err_O_H(m); //第m个学习样本输出层至隐层一般化误差 (6) 
Err_H_I(); //第m个学习样本隐层至输入层一般化误差 (7)
Save_W();
Save_V();

Delta_O_H(m); //第m个学习样本输出层至隐层权、阈值调整、修改 (8)
Delta_H_I(m); //第m个学习样本隐层至输入层权、阈值调整、修改 (9)

Delta_W();
Delta_V();
} //全部样本训练完毕
sum_err=Err_Sum(); //全部样本全局误差计算 (10)

cout<<"第"<<study<<"次学习的全局误差为"<<sum_err<<endl;

}
while ((sum_err > Pre_error)&&(study<Pre_times)) ;   
//N个样本全局误差小于预定误差否？ 小于则退出 (11)

if (study<Pre_times)
cout<<"网络已经学习了"<<study<<"次,学习的全局误差为"<<sum_err<<",满足了要求."<<endl;
else cout<<"网络的学习次数已经超过了预定最大学习次数,未满足要求."<<endl;

savequan();

for (int j=0;j<HN;j++)
{for (int i=0;i<IN;i++)
    cout<<"W["<<j+1<<"]["<<i+1<<"]="<<W[j][i]<<endl;
    cout<<"sita["<<j+1<<"]="<<sita[j]<<endl;}
 

for (int k=0;k<ON;k++)
{for (int j=0;j<HN;j++) 
     cout<<"V["<<k+1<<"]["<<j+1<<"]="<<V[k][j]<<endl;
  cout<<"gama["<<k+1<<"]="<<gama[k]<<endl;
  }
char s;
cout<<"请随便输入一个字符，按回车退出程序！\n";
cin>>s;
return 1;
}