1_3 hopfield模型.htm

企业数字神经网络功能开发文章

      <P>连续Hopfield网络的拓朴结构和离散Hopfield网络的结构相同。这种拓朴结构和生物的神经系统中大量存在的神经反馈回路是相一致的。在连续Hopfield网络中，和离散Hopfield网络一样，其稳定条件也要求W<SUB>ij</SUB>=W<SUB>ji</SUB>。<BR>连续Hopfield网络和离散Hopfield网络不同的地方在于其函数g不是阶跃函数，而是S形的连续函数。一般取</P>
      <P>g(u)=1/(1+e<SUP>-u</SUP>)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      (1-50)</P>
      <P>连续Hopfield网络在时间上是连续的．所以，网络中各神经元是处于同步方式工作的。考虑对于一个神经细胞，即神经元j，其内部膜电位状态用u<SUB>j</SUB>表示．细胞膜输入电容为C<SUB>j</SUB>，细胞膜的传递电阻为R<SUB>j</SUB>，输出电压为V<SUB>j</SUB>，外部输入电流用I<SUB>j</SUB>表示，则连续Hopfield网络可用图1—18所示的电路表示。</P>
      <TABLE cellSpacing=0 cellPadding=0 width="95%" align=center border=0>
        <TBODY>
        <TR>
          <TD width="76%"><IMG height=87 
            src="1_3 Hopfield模型.files/4.3.ht4.gif" width=324 border=0></TD>
          <TD width="24%">(1-51)</TD></TR></TBODY></TABLE></TD></TR>
  <TR>
    <TD width="100%" height=8>其中：n是神经网络神经元的个数 
      <P>v<SUB>j</SUB>(t)为输出电位；</P>
      <P>U<SUB>j</SUB>(t)为输入电位。</P>
      <P align=center><IMG height=326 src="1_3 Hopfield模型.files/4.3.ht5.gif" 
      width=431 border=0></P></TD></TR>
  <TR>
    <TD width="100%" height=10>
      <P align=center>图1-18&nbsp; 连续Hopfield网络的电路形式</P>
      <P>对于连续Hopfield网络，Hopfield给出如下稳定性定理：</P>
      <P>给出能量函数E(t)</P>
      <TABLE cellSpacing=0 cellPadding=0 width="95%" align=center border=0>
        <TBODY>
        <TR>
          <TD width="50%"><IMG height=49 
            src="1_3 Hopfield模型.files/4.3.ht6.gif" width=598 border=0></TD>
          <TD width="50%">(1-52)</TD></TR></TBODY></TABLE></TD></TR>
  <TR>
    <TD width="100%" height=11>
      <P>其中：g<SUP>-1</SUP>(v)是V<SUB>j</SUB>(t)＝g<SUB>j</SUB>(u<SUB>j</SUB>(t))的反函数。 

      <P>如果连续Hopfield网络中神经元传递函数是单调增长的连续并有界函数，并且W<SUB>ij</SUB>＝W<SUB>ji</SUB>，则有</P>
      <P><IMG height=45 src="1_3 Hopfield模型.files/4.3.ht7.gif" width=96 
      border=0></P>
      <P>当并且仅当</P>
      <P><IMG height=45 src="1_3 Hopfield模型.files/4.3.ht8.gif" width=96 
      border=0></P>
      <P>时，有</P>
      <P><IMG height=45 src="1_3 Hopfield模型.files/4.3.ht9.gif" width=96 
      border=0></P>
      <P>这个定理的意义可以解释如下：当网络神经元的传递函数是S函数，并且网络权系数矩阵对称；则随时间的变化网络的能量会下降或不变；而且仅当输出电位随时间变化不变时．网络的能量才会不变。换而言之，在上述条件下的网络是能量不变或下降的。</P>
      <P>这个定理的证明过程如下：</P>
      <P>对能量函数E(t)求时间的导数dE(t)／dt，则有</P>
      <TABLE cellSpacing=0 cellPadding=0 width="95%" align=center border=0>
        <TBODY>
        <TR>
          <TD width="100%"><IMG height=51 
            src="1_3 Hopfield模型.files/4.3.ht10.gif" width=757 border=0></TD></TR>
        <TR>
          <TD width="100%">
            <P align=right>(1-53)</P></TD></TR></TBODY></TABLE></TD></TR>
  <TR>
    <TD width="100%" height=31>
      <P>如果存在Wij＝Wji，则上式可写为 
      <TABLE height=172 cellSpacing=0 cellPadding=0 width="95%" align=center 
      border=0>
        <TBODY>
        <TR>
          <TD width="50%" height=112><IMG height=109 
            src="1_3 Hopfield模型.files/4.3.ht11.gif" width=558 border=0></TD>
          <TD width="50%" height=130 rowSpan=2>(1-54)</TD></TR>
        <TR>
          <TD width="50%" height=19><FONT 
        size=2>从连续Hopfield网络的动态方程，有</FONT></TD></TR>
        <TR>
          <TD width="50%" height=54><IMG height=51 
            src="1_3 Hopfield模型.files/4.3.ht12.gif" width=303 border=0></TD>
          <TD width="50%" height=54>(1-55)</TD></TR>
        <TR>
          <TD width="50%" height=11><FONT size=2>故上面(1—54)式可写成</FONT></TD>
          <TD width="50%" height=11></TD></TR>
        <TR>
          <TD width="50%" height=9><IMG height=47 
            src="1_3 Hopfield模型.files/4.3.ht13.gif" width=273 border=0></TD>
          <TD width="50%" height=9>(1-56)</TD></TR>
        <TR>
          <TD width="50%" height=7><FONT size=2>由于&nbsp; 
            V<SUB>j</SUB>(t)=g<SUB>j</SUB>(U<SUB>j</SUB>(t))</FONT></TD>
          <TD width="50%" height=7>(1-57)</TD></TR>
        <TR>
          <TD width="50%" height=10><FONT size=2>故而有&nbsp; 
            U<SUB>j</SUB>(t)=g<SUB>j</SUB><SUP>-1</SUP>(V<SUB>j</SUB>(t))</FONT></TD>
          <TD width="50%" height=10>(1-58)</TD></TR>
        <TR>
          <TD width="50%" height=7><FONT size=2>从而有</FONT></TD>
          <TD width="50%" height=7></TD></TR>
        <TR>
          <TD width="50%" height=129><IMG height=161 
            src="1_3 Hopfield模型.files/4.3.ht14.gif" width=424 border=0></TD>
          <TD width="50%" height=129>(1-59)</TD></TR>
        <TR>
          <TD width="50%" height=5><FONT size=2>从</FONT>&nbsp;&nbsp; 
            g(u)=1/(1+exp(-u))</TD>
          <TD width="50%" height=5>(1-60)</TD></TR></TBODY></TABLE></P></TD></TR>
  <TR>
    <TD width="100%" height=495>
      <P>可知其反函数为单调升函数。因而对于dE(t)／dt中的g<SUB>j</SUB><SUP>-1</SUP>(v<SUB>j</SUB>(t))，必有单调升的特点．则其导数必定大于0，即 

      <P>[g<SUB>j</SUB><SUP>-1</SUP>(v<SUB>j</SUB>(t))]'&gt;0</P>
      <P>同时容易知道</P>
      <P>C<SUB>j</SUB>&gt;0</P>
      <P><IMG height=45 src="1_3 Hopfield模型.files/4.3.ht15.gif" width=128 
      border=0></P>
      <P>很明显，在dE(t)／dt时，必定有</P>
      <P><IMG height=43 src="1_3 Hopfield模型.files/4.3.ht16.gif" width=86 
      border=0></P>
      <P>而且当，仅当</P>
      <P><IMG height=47 src="1_3 Hopfield模型.files/4.3.ht17.gif" width=96 
      border=0></P>
      <P>有</P>
      <P><IMG height=42 src="1_3 Hopfield模型.files/4.3.ht18.gif" width=88 
      border=0></P>
      <P>至此，则定理证明完毕。 
      <P>这个定理说明Hopfield网络的能量函数E(t)是单调下降的；如果E(t)有下界，即有确定的极小值；那么网络必定是稳定的。而且，可以知道稳定点对应于能量函数的下界，即极小值。 

      <P>下一步工作，只需证明能量函数有下界，那么．就可以证明网络是稳定的。 
      <P>可以证明，如果Hopfield网络的传递函数g是连续而且有界的，那么，能量函数E(t)是有界的。 
      <P>最后，有如下结论： 
      <P>当Hopfield网络的神经元传递函数g是连续且有界的，例如Sigmoid函数，并且网络的权系数矩阵对称，则这个连续Hopfield网络是稳定的。在实际应用中，任何一个系统，如果其优化问题可以用能量函数E(t)作为目标函数，那么，总可以用连续Hopfield网络对其进行求解。由于引入能量函数E(t)，Hopfield使神经网络和问题优化直接对应；这种工作是具开拓性的。利用神经网络进行优化计算，就是在神经网络这一动力系统给出初始的估计点，即初始条件；然后随网络的运动传递而找到相应极小点。这样，大量的优化问题都可以用连续的Hopfield网来求解。这也是Hopfield网络用于神经计算的基本原因。</P></TD></TR>
  <TR>
    <TD width="100%" height=19>
      <P align=right><A 
      href="http://www.jgchina.com/ednns/ednnsbk/4.2.htm">上一页</A>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      <A 
  href="http://www.jgchina.com/ednns/ednnsbk/4.4.htm">下一页</A></P></TD></TR></TBODY></TABLE></BODY></HTML>