📄 1_3 hopfield模型.htm
字号:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<!-- saved from url=(0044)http://www.jgchina.com/ednns/ednnsbk/4.3.htm -->
<HTML><HEAD><TITLE>1.3 Hopfield模型</TITLE>
<META http-equiv=Content-Language content=zh-cn>
<META http-equiv=Content-Type content="text/html; charset=gb2312">
<META content="MSHTML 6.00.2800.1106" name=GENERATOR>
<META content=FrontPage.Editor.Document name=ProgId><LINK
href="1_3 Hopfield模型.files/style.css" type=text/css rel=stylesheet></HEAD>
<BODY bgColor=#ffffff leftMargin=0 topMargin=0>
<TABLE height=2259 cellSpacing=0 cellPadding=0 width=778 border=0>
<TBODY>
<TR>
<TD width="100%" height=12>
<P><A
href="http://www.jgchina.com/ednns/ednnsbk/director.htm">回目录</A>
<A
href="http://www.jgchina.com/ednns/ednnsbk/4.2.htm">上一页</A>
<A
href="http://www.jgchina.com/ednns/ednnsbk/4.4.htm">下一页</A></P></TD></TR>
<TR>
<TD width="100%" height=13>
<P align=center>1.3 Hopfield模型</P></TD></TR>
<TR>
<TD width="100%" height=467>
<P>1982年，J．Hopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。Hopfield网络有离散型和连续型两种。
<P>反馈神经网络由于其输出端有反馈到其输入端；所以，Hopfield网络在输入的激励下，会产生不断的状态变化。当有输入之后，可以求取出Hopfield的输出，这个输出反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一旦到达了稳定平衡状态；那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。</P>
<P>应该指出：反馈网络有稳定的，也有不稳定的。对于Hopfield网络来说，还存在如何判别它是稳定网络，亦或是不稳定的问题；而判别依据是什么，也是需要确定的。</P>
<P>1．3．1 离散Hopfield网络</P>
<P>Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。在离散HopfieId网络中，所采用的神经元是二值神经元；故而，所输出的离散值1和0分别表示神经元处于激活和抑制状态。</P>
<P>首先考虑由三个神经元组成的离散Hopfield神经网络，其结构如图1—13中所示。</P>
<P>在图中，第0层仅仅是作为网络的输人，它不是实际神经元，所以无计算功能；而第一层是实际神经元，故而执行对输人信息和权系数乘积求累加和，并由非线性函数f处理后产生输出信息。f是一个简单的阀值函效，如果神经元的输出信息大于阀值<SPAN
style="FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA"><FONT
size=3>θ</FONT></SPAN>，那么，神经元的输出就取值为1；小于阀值<SPAN
style="FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA"><FONT
size=3>θ</FONT></SPAN>，则神经元的输出就取值为<SPAN
style="FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA"><FONT
size=3>θ</FONT></SPAN>。</P>
<P align=center><IMG height=368 src="1_3 Hopfield模型.files/4.3.ht27.gif"
width=571 border=0></P></TD></TR>
<TR>
<TD width="100%" height=18>
<P align=center>图1-13 三神经元组成的Hopfield网络</P></TD></TR>
<TR>
<TD width="100%" height=457>
<P>对于二值神经元，它的计算公式如下
<P><IMG height=32 src="1_3 Hopfield模型.files/4.3.ht19.gif" width=153
border=0></P>
<P>其中：x<SUB>i</SUB>为外部输入。并且有：</P>
<P>Y<SUB>i</SUB>=1,当U<SUB>i</SUB><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">≥</SPAN><SPAN
style="FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA"><FONT
size=3>θ<SUB>i</SUB>时</FONT></SPAN></P>
<P><FONT size=3><SPAN
style="FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">Y<SUB>i</SUB>=0,当U<SUB>i</SUB><</SPAN></FONT><SPAN
style="FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA"><FONT
size=3>θ<SUB>i</SUB>时</FONT></SPAN></P>
<P>对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量：</P>
<P>Y(t)=[Y<SUB>1</SUB>(t),Y<SUB>2</SUB>(t),<SUP>...</SUP>,Y<SUB>n</SUB>(t)]<SUP>T</SUP></P>
<P>故而，网络状态有2<SUP>n</SUP>个状态；因为Yj(t)(j＝1……n)可以取值为1或0；故n维向量Y(t)有2<SUP>n</SUP>种状态，即是网络状态。</P>
<P>对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数；每一个三位二进制数就是一种网络状态，从而共有8个网络状态。这些网络状态如图1—14中所示。在图中，立方体的每一个顶角表示一种网络状态。同理，对于n个神经元的输出层，它有2<SUP>n</SUP>个网络状态，也和一个n维超立方体的顶角相对应。</P>
<P align=center><IMG height=284 src="1_3 Hopfield模型.files/4.3.ht20.gif"
width=425 border=0></P></TD></TR>
<TR>
<TD width="100%" height=18>
<P align=center>图1-14 三神经元输出层的网络状态</P></TD></TR>
<TR>
<TD width="100%" height=559>
<P>如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从超立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。
<P>对于一个由n个神经元组成的离散Hopfield网络，则有n*n权系数矩阵w：</P>
<P>W={W<SUB>ij</SUB>} i=1,2,<SUP>...</SUP>,n
j=1,2,<SUP>...</SUP>,n</P>
<P>同时，有n维阀值向量<SPAN
style="FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA"><FONT
size=3>θ：</FONT></SPAN></P>
<P><SPAN
style="FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA"><FONT
size=3>θ=[θ<SUB>1</SUB>,θ<SUB>2</SUB>,<SUP>...</SUP>θ<SUB>n</SUB>]<SUP>T</SUP></FONT></SPAN></P>
<P>一船而言，w和<SPAN
style="FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA"><FONT
size=3>θ</FONT></SPAN>可以确定一个唯一的离散Hopfield网络。对于图1—13所示的三神经元组成的Hopfield网络，也可以改用图1—15所示的图形表示，这两个图形的意义是一样的。考虑离散Hopfield网络的一船节点状态；用Y<SUB>j</SUB>(t)表示第j个神经元，即节点j在时刻t的状态，则节点的下一个时刻(t+1)的状态可以求出如下：</P>
<P><IMG height=59 src="1_3 Hopfield模型.files/4.3.ht21.gif" width=306
border=0></P>
<P><IMG height=41 src="1_3 Hopfield模型.files/4.3.ht22.gif" width=244
border=0></P>
<P>当W<SUB>ij</SUB>在i＝j时等于0，则说明一个神经元的输出并不会反馈到它自己的输入；这时，离教的HopfieId网络称为无自反馈网络。</P>
<P>当W<SUB>ij</SUB>在i＝j时不等于0，则说明—个神经元的输出会反馈到它自己的输入；这时，离散的Hopfield网络称为有自反馈的网络。</P>
<P align=center><IMG height=319 src="1_3 Hopfield模型.files/4.3.ht23.gif"
width=382 border=0></P></TD></TR>
<TR>
<TD width="100%" height=18>
<P align=center>图1-15 离散Hopfield网络的另外一种图示</P></TD></TR>
<TR>
<TD width="100%" height=698>离散Hopfield网络有二种不同的工作方式：
<P>1．串行(异步)方式</P>
<P>在时刻t时，只有某一个神经元j的状态产生变化，而其它n-1个神经元的状态不变这时称串行工作方式。并且有</P>
<P><IMG height=40 src="1_3 Hopfield模型.files/4.3.ht24.gif" width=301
border=0></P>
<P>Y<SUB>i</SUB>(t+1)=Y<SUB>j</SUB>(t) i<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">≠j</SPAN></P>
<P>在不考虑外部输人时，则有</P>
<P><IMG height=42 src="1_3 Hopfield模型.files/4.3.ht25.gif" width=259
border=0></P>
<P>2．并行(同步)方式</P>
<P>在任一时刻t，所有的神经元的状态都产生了变化；则称并行工作方式。并且有</P>
<P><IMG height=68 src="1_3 Hopfield模型.files/4.3.ht26.gif" width=301
border=0></P>
<P>在不考虑外部输入时，则有</P>
<P><IMG height=42 src="1_3 Hopfield模型.files/4.3.ht25.gif" width=259
border=0> j=1,2,<SUP>...</SUP>,n</P>
<P>对于一个网络来说，稳定性是一个重大的性能指标。</P>
<P>对于离散Hopfield网络，其状态为Y(t)：</P>
<P>Y(t)=[Y<SUB>1</SUB>(t),Y<SUB>2</SUB>(t),<SUP>...</SUP>,Y<SUB>n</SUB>(t)]<SUP>T</SUP></P>
<P>如果，对于任何<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">△</SPAN>t>0．当神经网络从t＝0开始，有初始状态Y(0)；经过有限时刻t，有：</P>
<P>Y(t+<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">△t</SPAN>)=Y(t)</P>
<P>则称网络是稳定的。</P>
<P>在串行方式下的稳定性称之为串行稳定性。同理，在并行方式的稳定性称之为并行稳定性。在神经网络稳定时，其状态称稳定状态。</P>
<P>从离散的Hopfield网络可以看出：它是一种多输入，含有阀值的二值非线性动力系统。在动力系统中，平衡稳定状态可以理解为系统的某种形式的能量函数在系统运动过程中，其能量值不断减小，最后处于最小值。</P>
<P>对Hopfield网络引入一个Lyapunov函数，即所谓能量函数：</P>
<P><IMG height=47 src="1_3 Hopfield模型.files/4.3.ht28.gif" width=368
border=0></P>
<P>即有：</P>
<TABLE cellSpacing=0 cellPadding=0 width="95%" align=center border=0>
<TBODY>
<TR>
⌨️ 快捷键说明
复制代码
Ctrl + C
搜索代码
Ctrl + F
全屏模式
F11
切换主题
Ctrl + Shift + D
显示快捷键
?
增大字号
Ctrl + =
减小字号
Ctrl + -