6.htm

介绍讲解人工智能神经网络——数字神经网络系统的教程

            border=0></P></TD>
          <TD width="50%">
            <P align=center><IMG height=277 src="6.files/4.4.ht31.gif" width=224 
            border=0></P></TD></TR></TBODY></TABLE></TD></TR>
  <TR>
    <TD width="100%" height=8>
      <P align=center>图1-24&nbsp; ART模型的工作过程</P></TD></TR>
  <TR>
    <TD width="100%" height=10>
      <P>4．需考虑的一些特点 
      <P>在注意子系统的增益控制及起动这一自上而下的学习期望匹配过程中，还应考虑一些有关特点。</P>
      <P>例如在F1输出向下而上的作用之前，F2已被激活，这时F2就会产生自上而下的学习期望并作用于Fl；这时则F1也会被激活，并产生自下而上的作用过程。显然，需要对来自外部输入的激活以及来自F2的反馈激活进行区分。所以，设置一个辅助机构进行区分激活来源的工作。这个辅助机构称为注意增益控制。</P>
      <P>为F2被激活时，注意起动机构会向F1选出学习期望信号，注意增益控制就会给出禁止作用，从而影响Fl对输入响应灵敏度，使得F1可以区分激活信号的来源。</P>
      <P>5.匹配</P>
      <P>采用2/3规则，以确定F1的输出。这实际上是把存储模式和输入模式进行匹配的规则。</P>
      <P>三、ART模型的工作过程</P>
      <P>在图1—21所示的ART结构中，F1可称为比较层，F2可称为识别层。</P>
      <P>比较层F1接收输入模式I，初始时不作任何变动作为输出向量S送去识别层F2；此后，F1同时接受识别层输出的向量v和输人模式I，还有增益控制的输出，并按2／3规则产生输出。在初始时，增益控制的输出为I，而v设置为o，故有S等于输入I。</P>
      <P>识别层F2是用作输入向量分类器的。在识别层中，只有一个神经元和输入的向量s最优匹配，这个神经元就会被激活，而其它神经元则被抑制。根据神经元的结构原理，最优匹配规则如下：</P>
      <P><IMG height=31 src="6.files/4.4.ht32.gif" width=190 border=0></P>
      <P>其中： S是输入F2的向量；s=(sl，s2，…，Sn)；</P>
      <P>w3是识别层中第j个神经元和比较层中神经元从F1一F2的权系数向量wj=(W1j，W2j......)，</P>
      <P>wc是识别层中最优匹配神经元c从FI—F2的权系数向量Wc＝(W1c，W2c……)。</P>
      <P>应该注意：最优匹配神经元c到比较层神经元有从F2一FI的权系数向量Wc’，Wr’＝(Wc1,Wc2……)很明显，Wc和Wc’就组成了输入向量的类别样本；也即是权系数的形态表示一类模式。</P>
      <P>在识别层中，为了使一个神经元有最大输出值并取得竞争的优胜，并抑制其它神经元。故而识别层有横向连接，每个神经元的输出和正的权系数相乘后作本神经元的一个输入，而其它神经元的输出和负权系数相乘后再作为本神经元的输入。这种作用等于加强自身，抑制其它。从而保证了只有一个神经元被激活。这种情况如图1—25所示。</P>
      <P align=center><IMG height=224 src="6.files/4.4.ht33.gif" width=625 
      border=0></P></TD></TR>
  <TR>
    <TD width="100%" height=7>
      <P align=center>图1-25 F2层的横向连接</P></TD></TR>
  <TR>
    <TD width="100%" height=11>
      <P>增益控制有两部分，它们的作用功能不同。识别层F2的增益控制输出原则为：只要输入向量I有一个元素为1，则输出1。比较层F1的增益控制原则为：只要在I有一个元素为1，同时F2的输出向量U全部元素为0时，才输出1。 

      <P>重置作用是在输入信号I和F1的输出s之间的匹配存在问题，差别大于某警戒值时．则发清零信号到F2。以便重新进行识别。</P>
      <P>ART网络的学习分类分为三部，即识别，比较和搜索。下面作简要说明。</P>
      <P>1．识别</P>
      <P>初始化时，网络无输人信号，故I全部元素为0；识别层F2增益控制输出为0；识别层F2输出全部为0。在有模式I输入后，I必有元素为1，故F1增益控制、F2增益控制均输出1；比较层F1按2/3规则全部复制I作为输出；S＝(s<SUB>1</SUB>，s<SUB>2</SUB>，…，S<SUB>n</SUB>)。接着识别层F2的每个神经元j执行下面操作；从而求出最优匹配神经元C：</P>
      <P><IMG height=36 src="6.files/4.4.ht34.gif" width=192 border=0></P>
      <P>则神经元C输出1，其余输出U。这些输出送回比较层F1。F2输出的值为U＝(U1，U2……)。找寻最优匹配神经元C的过程就是识别。</P>
      <P>2．比较</P>
      <P>从识别层F2反馈到Fl的向量U不再全部为0，故而，F1增益控制输出0。按2/3规则，只有输人向量I及反馈向量U的元素同时为1所激励的神经元才会被激活。从另一个角度讲．就是来自F2的反馈强迫输入向量I中那些不匹配存储模式u的S元素为0。</P>
      <P>如果I与U不匹配，则产生的S只有少数元素为1，这也说明模式U不是所要寻找的I模式。取向子系统对I和s的相符程度进行判别，如果低于结定的警戒值，则发出重置信号，使识别层F2激活的神经元清零；这也说明该神经元失去竞争的资格。则到此这个阶段分类比较过程结束。如果I与U匹配，则输入模式I所属的类别已找到，分类结束。</P>
      <P>3．搜索</P>
      <P>在I与U不匹配时，为了找到较好的匹配必须对其余的模式进行搜索。重置信号把识别层F<SUB>2</SUB>的神经元全部清0，则F<SUB>1</SUB>增益控制又输出1，网络返回到初始状态。输入模式I再进行输入，识别层的另一个神经元会取得优胜，则反馈一个新的存储模式U送回比较层F<SUB>1</SUB>。接着又进行匹配比较，如不匹配，则又重置识别层……不断执行下去。</P>
      <P>搜索过程直到产生下列情况之一才会停止：</P>
      <P>(1)找到一个存储模式，在警戒值范围内和输入模式I匹配；则ART网络进入学习阶段。修正和匹配神经元C相关的权系数W<SUB>ic</SUB>和W<SUB>ci</SUB>。</P>
      <P>(2)搜索了全部模式后，没有一个模式能够和I相似匹配；则网络也进人学习阶段。把原来来分配模式的神经元j赋于输人模式I，构造相应的权系数W<SUB>ij</SUB>和W<SUB>ji</SUB>，并作为样本模式存储。</P>
      <P>特别应指出的是：搜索过程是包含了识别和比较二个阶段的。搜索不过是识别—比较—识别—比较……的多次重复。</P>
      <P>严格来说，ART应分成搜索和学习这两种最主要的过程和功能。</P>
      <P>1．4．3ART模型的数学描述</P>
      <P>在ART模型中，F<SUB>1</SUB>或F<SUB>2</SUB>中的神经元用N<SUB>k</SUB>表示，神经元被激活后产生的激活值用X<SUB>k</SUB>表示，从神经生理学的研究结果，可以知道神经元的激活值，即神经元未经s函数处理的输出X<SUB>k</SUB>满足下面的微分方程：</P>
      <DIV align=center>
      <CENTER>
      <TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
        <TBODY>
        <TR>
          <TD width="78%"><IMG height=43 src="6.files/4.4.ht35.gif" width=397 
            border=0></TD>
          <TD width="22%">(1-60)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
  <TR>
    <TD width="100%" height=10>其中：e是远小于1的正实数； 
      <P>J<SUB>k</SUB><SUP>+</SUP>是送到神经元Nk的所有激励输入之和</P>
      <P>J<SUB>k</SUB><SUP>-</SUP>是送到神经元Nh的所有抑制输入之和</P>
      <P>A，B，C是非负常数；</P>
      <P>X<SUB>k</SUB>的取值范围为[-BC<SUP>-1</SUP>，A<SUP>-1</SUP>]</P>
      <P>一、F<SUB>1</SUB>层的数学描述</P>
      <P>用N<SUB>i</SUB>表示F<SUB>1</SUB>的神经元，并且i=1，2，…，n，</P>
      <P>则有</P>
      <DIV align=center>
      <CENTER>
      <TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
        <TBODY>
        <TR>
          <TD width="71%"><IMG height=44 src="6.files/4.4.ht36.gif" width=403 
            border=0></TD>
          <TD width="29%">(1-61)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
  <TR>
    <TD width="100%" height=8>
      <P>很明显，有F<SUB>1</SUB>的激活模式X 
      <P>X={X<SUB>1</SUB>,X<SUB>2</SUB>,...X<SUB>n</SUB>}</P>
      <P>1.J<SUB>i</SUB><SUP>+</SUP>的形式</P>
      <P>由于F<SUB>1</SUB>神经元N<SUB>t</SUB>的激励输入J<SUB>i</SUB><SUP>+</SUP>是自下而上的输入I<SUB>i</SUB>以及自上而下的输入v<SUB>i</SUB>之和，故而有</P>
      <P>J<SUB>i</SUB><SUP>+</SUP>=I<SUB>i</SUB>+V<SUB>i</SUB></P>
      <P>其中Ii是一个n维输入向量；I={I<SUB>1</SUB>,I<SUB>2</SUB>,…I<SUB>n</SUB>}；</P>
      <P><IMG height=29 src="6.files/4.4.ht37.gif" width=160 
      border=0>；这里，f(X<SUB>j</SUB>)是F<SUB>2</SUB>中神经元N<SUB>i</SUB>的输出，W<SUB>ji</SUB>是N<SUB>j</SUB>到N<SUB>i</SUB>的连接权系数；</P>
      <P>D1是系数。</P>
      <P>v＝{v<SUB>1</SUB>，v<SUB>2</SUB>，…，v<SUB>n</SUB>}，也是n维间量。</P>
      <P>2.J<SUB>i</SUB><SUP>-</SUP>的形式</P>
      <P>对F1层，抑制输入Ji-是由注意子系统增益控制信号来控制，即</P>
      <DIV align=center>
      <CENTER>
      <TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
        <TBODY>
        <TR>
          <TD width="29%"><IMG height=33 src="6.files/4.4.ht38.gif" width=122 
            border=0></TD>
          <TD 
    width="71%">j=n+1,n+2,...,n+m</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
  <TR>
    <TD width="100%" height=113>
      <P>当且仅当F2的激活值很高时，J<SUB>i</SUB><SUP>-</SUP>＝0，否则J<SUB>i</SUB><SUP>-</SUP>&gt;0。 

      <P>二、F<SUB>2</SUB>层的数学描述</P>
      <P>用N<SUB>j</SUB>表示F<SUB>2</SUB>的神经元．并且j＝n+1，n+2，…，n+m，则有：</P>
      <DIV align=center>
      <CENTER>
      <TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
        <TBODY>
        <TR>
          <TD width="71%"><IMG height=43 src="6.files/4.4.ht39.gif" width=416 
            border=0></TD>
          <TD width="29%">(1-62)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
  <TR>
    <TD width="100%" height=362>
      <P>则有F<SUB>2</SUB>的激活模式Y 
      <P>Y={X<SUB>n+1</SUB>,X<SUB>n+2</SUB>,...X<SUB>n+m</SUB>}</P>
      <P>选择F<SUB>2</SUB>中的激活模式的输入和参数，使到F<SUB>2</SUB>中具有来自F<SUB>1</SUB>的最大输入的神经元取得竞争的胜利。故而对J<SUB>j</SUB><SUP>+</SUP>和J<SUB>j</SUB><SUP>-</SUP>考虑应有如下形式：</P>
      <P>1.J<SUB>j</SUB><SUP>+</SUP>的形式</P>
      <P>Jj+=g(Xj)+Tj</P>
      <P>其中：g(x<SUB>j</SUB>)为N<SUB>j</SUB>的自反馈信号；<BR>T<SUB>j</SUB>是从F<SUB>1</SUB>来的到F<SUB>2</SUB>的输入模式；<IMG 
      height=36 src="6.files/4.4.ht40.gif" width=160 
      border=0>，这里的h(x<SUB>i</SUB>)是F中神经元N<SUB>i</SUB>的输出，D<SUB>2</SUB>是系数；</P>
      <P>W<SUB>ij</SUB>是F<SUB>1</SUB>到F<SUB>2</SUB>的神经元的连接权系数。</P>
      <P>2.J<SUB>j</SUB><SUP>-</SUP>的形式</P>
      <P><IMG height=36 src="6.files/4.4.ht41.gif" width=128 border=0></P>
      <P>对应于图1—24中的情况，可以看出向量S，T，U，V的关系，并且有</P>
      <P>S={h(X<SUB>1</SUB>),h(X<SUB>2</SUB>),...,h(X<SUB>n</SUB>)}</P>
      <P>T={T<SUB>n+1</SUB>,T<SUB>n+2</SUB>,...,T<SUB>n+m</SUB>}</P>
      <P>U={f(X<SUB>n+1</SUB>),f(X<SUB>n+2</SUB>),...,h(X<SUB>n+m</SUB>)}</P>
      <P>V={V<SUB>1</SUB>,V<SUB>2</SUB>,...,V<SUB>n</SUB>}</P>
      <P>并且有&nbsp;&nbsp; 
  I={I<SUB>1</SUB>,I<SUB>2</SUB>,...,I<SUB>n</SUB>}</P></TD></TR>
  <TR>
    <TD width="100%" height=33>
      <P align=right><A 
      href="http://www.jgchina.com/ednns/ednnsbk/4.3.htm">上一页</A>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      <A 
  href="http://www.jgchina.com/ednns/ednnsbk/4.4.4.htm">下一页</A></P></TD></TR></TBODY></TABLE></BODY></HTML>