📄 6.htm
字号:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<!-- saved from url=(0044)http://www.jgchina.com/ednns/ednnsbk/4.4.htm -->
<HTML><HEAD><TITLE>1．4 自适应共振理论ART模型</TITLE>
<META http-equiv=Content-Type content="text/html; charset=gb2312">
<META content="MSHTML 6.00.2800.1106" name=GENERATOR>
<META content=FrontPage.Editor.Document name=ProgId><LINK
href="6.files/style.css" type=text/css rel=stylesheet></HEAD>
<BODY bgColor=#ffffff leftMargin=0 topMargin=0>
<TABLE height=3252 cellSpacing=0 cellPadding=0 width=778 border=0>
<TBODY>
<TR>
<TD width="100%" height=13>
<P><A
href="http://www.jgchina.com/ednns/ednnsbk/director.htm">回目录</A>
<A
href="http://www.jgchina.com/ednns/ednnsbk/4.3.htm">上一页</A>
<A href="http://www.jgchina.com/ednns/ednnsbk/4.4.4.htm">下一页</A></P></TD></TR>
<TR>
<TD width="100%" height=12>
<P align=center>1．4 自适应共振理论ART模型</P></TD></TR>
<TR>
<TD width="100%" height=501>
<P>自适应共振理论ART(Adaptive Resonance
Theory)模型是美国Boston大学的S．Grossberg和A．Carpenet在1976年提出的。
<P>ART是一种自组织神经网络结构，是无教师的学习网络。当在神经网络和环境有交互作用时，对环境信息的编码会自发地在神经网中产生，则认为神经网络在进行自组织活动。ART就是这样一种能自组织地产生对环境认识编码的神经网络理论模型。</P>
<P>ART模型是基于下列问题的求解而提出的：</P>
<P>1．对于一个学习系统，要求它有适应性及稳定性，适应性可以响应重要事件，稳定性可以存储重要事件。这种系统的设计问题。</P>
<P>2．学习时，原有的信息和新信息如何处理，保留有用知识，接纳新知识的关系如何及解决的问题。</P>
<P>3．对外界信息与原存储的信息结合并决策的问题。</P>
<P>......</P>
<P>Grossberg一直对人类的心理和认识活动感兴趣，他长期埋头于这方面的研究并希望用数学来刻划人类这项活动，建立人类的心理和认知活动的一种统一的数学模型和理论。ART就是由这种理论的核心内容并经过提高发展然后得出的。<BR>目前，ART理论已提出了三种模型结构，即ARTt，ART2，ART3。ART1用于处理二进制输入的信息；ART2用于处理二进制和模拟信息这两种输人；ART3用于进行分级搜索。ART理论可以用于语音、视觉、嗅觉和字符识别等领域。</P>
<P>1．4．1ART模型的结构</P>
<P>ART模型来源于Helmboltz无意识推理学说的协作——竞争网络交互模型。这个模型如图1—19所示。</P>
<P>从图中看出这个模型由两个协作——竞争模型组成。无意识推理学说认为：原始的感觉信息通过经历过的学习过程不断修改，直到成为一个真实的感知结果为止。在图1—19中协作——竞争网络交互模型可以看出；环境输入信号和自上而下学习期望同时对协作——竞争网络1执行输入；而自下而上学习是协作——竞争网络1的输出；同时，自下而上学习是协作——竞争网络2的输人．而自上而下学习期望则是其输出。真实感知是通过这个协作——竞争网络的学习和匹配产生的。</P>
<P>环境输人信号对自上而下学习期望进行触发，使协作——竞争网络1产生自下而上学习的输出。这种输出送到协作——竞争网络2，则产生自上而下学习期望输出，并送回协作——竞争网络1。这个过程很明显是自上而下学习和自下而上学习的过程，并且这个过程中不断吸收环境输人信息。经过协作——竞争的匹配，最终取得一致的结果；这也就是最终感知或谐振感知。协作——竞争网络交互作用有下列基本要求：</P>
<P>第一，交互作用是非局域性的；</P>
<P>第二，交互作用是非线性的；</P>
<P>第三，自上而下的期望学习是非平稳随机过程。</P>
<P align=center><IMG height=236 src="6.files/4.4.ht19.gif" width=480
border=0></P></TD></TR>
<TR>
<TD width="100%" height=18>
<P align=center>图1-19 协作——竞争网络交互模型</P></TD></TR>
<TR>
<TD width="100%" height=903>
<P>受到协作——竞争网络交互模型的启发．Grossberg提出了ART理论模型。他认为对网络的自适应行为进行分析，可以建立连续非线性网络模型，这种网络可以由短期存储STM和长期存储LTM作用所实现。STM是指神经元的激活值．即末由s函数处理的输出值，LTM是指权系数。
<P>Grossberg所提出的ART理论模型有如下一些主要优点：</P>
<P>1．可以进行实时学习，能适应非平稳的环境。</P>
<P>2．对于已经学习过的对象具有稳定的快速识别能力；同时，亦能迅速适应未学习的新对象。</P>
<P>3．具有自归一能力，根据某些特征在全体中所占的比例，有时作为关键特征，有时当作噪声处理。</P>
<P>4．不需要预先知道样本结果，是无监督学习；如果对环境作出错误反映则自动提高“警觉性”，迅速识别对象。</P>
<P>5．容量不受输入通道数的限制，存储对象也不要是正交的。</P>
<P>ART的基本结构如图1—20所示。</P>
<P>它由输入神经元和输出神经元组成。它用前向权系数及样本输入来求取神经元的输出，这个输出也就是匹配测度；具有最大匹配测度的神经元的活跃级通过输出神经元之间的横向抑制得到进一步增强，而匹配测度不是最大的神经元的活跃级就会逐渐减弱，从输出神经元到输人神经元之间有反馈连接以进行学习比较。同样，还提供一个用来确定具有最大输出的输出神经元与输入模式进行比较的机制。<BR>ART模型的框图如图1—21所示。</P>
<P align=center><IMG height=269 src="6.files/4.4.ht21.gif" width=479
border=0></P>
<P align=center>图1-20</P>
<P align=center><IMG height=411 src="6.files/4.4.ht22.gif" width=512
border=0></P>
<P align=center>图1-21 ART模型</P></TD></TR>
<TR>
<TD width="100%" height=927>
<P>它由两个子系统组成，一个称为注意子系统(Attcntional Subsystem)，一个称为取向子系统(Orienting
Subsystem)，也称调整子系统。这两个子系统是功能互补的子系统。ART模型就是通过这两个子系统和控制机制之间的交互作用来处理熟悉的事件或不熟悉的事件。在注意子系统中，有F1，F2这两个用短期存储单元组成的部件，即STM
FI和STMF2。在FI和F2之间的连接通道是长期存储LTM。增益控制有两个作用：一个作用是在F1中用于区别自下而上和自上而下的信号；另一作用是当输入信号进入系统时，F2能够对来自F1的信号起阀值作用。调整子系统是由A和STM重置波通道组成。
<P>注意子系统的作用是对熟悉事件进行处理。在这个子系统中建立熟悉事件对应的内部表示，以便响应有关熟悉事件；这在实际上是对STM中的激活模式进行编码。同时，在这个子系统中还产生一个从F2到F1的自上而下的期望样本，以帮助稳定己被学习了的熟悉事件的编码。</P>
<P>调整子系统的作用是对不熟悉事件产生响应。在有不熟悉事件输入时，孤立的一个注意子系统无法对不熟悉的事件建立新的聚类编码；故而设置一个调整子系统，当有不熟悉事件输入时，调整子系统马上产生重置波对F2进行调整，从而使注意子系统对不熟悉事件建立新的表达编码。实际上，当自下而上的输入模式和来自F2的自上而下的引发模式即期望在FI，中不匹配时，调整子系统就会发出一个重置波信号到F2，它重新选择F2的激活单元．同时取消F2原来所发出的输出模式。</P>
<P>简而言之，注意子系统的功能是完成由下向上的向量的竞争选择，以及完成由下向上向量和由上向下向量的相似度比较。而取向子系统的功能是检验期望向量v和输入向量I的相似程度；当相似度低于某一给定标准值时，即行取消该时的竞争优胜者，转而从其余类别中选取优胜者。</P>
<P>ART模型就是由注意子系统和调整子系统共同作用，从而完成自组织过程的。</P>
<P>1.4.2 ART的基本工作原理</P>
<P>在ART模型中，其工作过程是采用2/3规则的。所谓2/3规则，就是在ART网络中，三个输入信号中要有二个信号起作用才能使神经元产生输出信号。ART网络的整个工作过程中，2/3规则都在起作用。在说明ART模型的工作原理之前，先介绍2/3规则。</P>
<P>一、2／3规则</P>
<P>考虑因1—21所示的ART模型，很明显在FI层中，有三个输入信号源：输入信号I，增益控制输入，自上而下的模式输人。所谓2/3规则，就是指F1中这三个输入信号对F1的激发作用和关系。</P>
<P>2／3规则可以用图1—22所示的图形来说明。</P>
<P>1．自上而下的单输人情况</P>
<P>这时的情况如图1—22(a)所示。F1从三个输入信号源中，只接收来自F2的自上而下的引发模式。故而，FI中的三个输入信号源中，并没有二个输入信号源起作用；而只有一个输入信号源即来自F2的自上而下的引发模式。所以F1中的神经元不会被激活，F1的神经元不会产生信号输出。</P>
<P>2．自下而上的二输人情况</P>
<P>这时的情况如图1—盟(b)所示。这时，在F1的三个输入信号源中，有输入信号I进行输入．并且有I通过增益控制后所产生的对F1的输入；由于这两个输入信号起作用，故而F1中的神经元被激活，F1能产生信号输出：</P>
<P>3．自下而上输入及自上而下引发模式输入的情况</P>
<P>这时的情况如图1—22(c)所示。它说明了自下而上输入模式和自上而下的引发模式共同作用于Fl的过程。这个过程也就是输入模式I和来自F2的自上而下的引发模式匹配过程。在这时，F2的输出信号会加到增益控制中对其中的输入信号I产生抑制作用，所以，增益控制不会产生信号送去Fl。在F1中，同时接收到自下而上输人信号以及自上而下的F2输出信号的神经元才会被激话；而只接收到其中一个信号的神经元则不会被激活。</P>
<P>4．模态竞争情况</P>
<P>当注意子系统从一个模态向另一个模态转移时，在这个转移的瞬间中会禁止F1被激活；因为，这种是一个过渡过程，它不反映模式的实质内容。固Fl不能被激活。模态竞争的情况如图1—22(d)所示。</P>
<TABLE cellSpacing=0 cellPadding=0 width="100%" border=0>
<TBODY>
<TR>
<TD width="50%">
<P align=center><IMG height=204 src="6.files/4.4.ht23.gif" width=219
border=0></P></TD>
<TD width="50%">
<P align=center><IMG height=213 src="6.files/4.4.ht24.gif" width=209
border=0></P></TD></TR>
<TR>
<TD width="50%">
<P align=center><IMG height=291 src="6.files/4.4.ht25.gif" width=221
border=0></P></TD>
<TD width="50%">
<P align=center><IMG height=284 src="6.files/4.4.ht26.gif" width=211
border=0></P></TD></TR></TBODY></TABLE></TD></TR>
<TR>
<TD width="100%" height=18>
<P align=center>图1-22 2/3规则</P></TD></TR>
<TR>
<TD width="100%" height=366>
<P>二、ART模型的基本工作原理
<P>在ART模型中，显然分为F1，F2两层神经网络。对于注意子系统，F1和F2这两层的作用可以用图1—23表示。
<P align=center><IMG height=290 src="6.files/4.4.ht27.gif" width=597
border=0></P></TD></TR>
<TR>
<TD width="100%" height=18>
<P align=center>图1-23 F1和F2层的信息处理</P></TD></TR>
<TR>
<TD width="100%" height=465>
<P>Fl层接收输人模式I，则在F1中被转换成激活模式X，X由F1中的激活神经元表示，如图1—23中的长方形所示。这个模式x被短期存储在F1中。只有激活值足够高的神经元才能产生输出信号并通过连接传送到F2的神经元去。
<P>在F1中，由x所产生的F1输出模式为S，S模式通过连接送到F2的神经元输入端。并在F2的神经元的输入端土产生一个和s不同的模式T。从s到T的转换称为自适应滤波。无论F1还是P2，其神经元是一般形式的神经元结构。一般而言，这些神经元的状态．输入和输出并不相同。</P>
<P>在F2层中．模式T经过F2神经元的相互作用会迅速地被转换。这个相互作用是对输入模式T的比较及除弱增强过程。其结果产生一个短期存储在F2中的模式Y，这也是F2的状态。</P>
<P>在一般情况时，从T到Y这个比较，除弱增强的转换会使多个神经元处于激活状态。这时，这种转换结果变由F2中的多个神经元群来表达。这个转换过程自动地把F1的输入模式I划分到不相交的各个识别聚类中去，每个类对应于F2中的某个特征神经元。在特殊情况时，从T到Y的比较、除弱增强过程就是在F2中选择一个与当前输入I相对应的而输出值最大的神经元的过程。所选择的神经元就是用于表示激活模式的唯一神经为了说明ART模型的有关工作基本原理，下面分五点进行介绍：</P>
<P>1．自下而上的自适应滤波和STM中的对比度增强过程。</P>
<P>输入信号I加到注意子系统的F1的输入端，经过F1的节点变换成激活模式X，这一过程起到特征检出作用。<BR>在F1中，激活值较高的神经元就会有输出到F2的信号，并成为输出模式s．s经过F1到F2的连接通道时受到加权组合(LTM)，变换成模式T后作用于F2的输入端。S到T的变换称为自适应滤波。F2接收到T后通过神经元间的相互作用迅速产生对比度增强了的激活模式Y，并且存储于F2中。如图1—24(a)所示。</P>
<P>这个阶段的学习是一个变换系列：I—X—S—T—Y</P>
<P>2．自上而下的学习期望匹配和对已学习编码的稳定。</P>
<P>一旦当自下而上的变换X—Y完成之后．Y就会产生自上而下的输出信号的模式u，并送向F1，只有激活值足够大的才会向反馈通道送出信号u。
u经加权组合变换成模式v。v称为自上而下的模板，或学习期望。</P>
<P>由于x和V这两个模式对F1输入，则它们的共同作用在F1中产生激活模式X<SUP>*</SUP>；—般而言，x*和只由输入信号产生的x模式不同。这时，F1的作用就是试图使v和I匹配，其匹配结果确定了以后的作用过程。<BR>这时的情况如图1—24(b)所示。</P>
<P>3．注意子系统和取向子系统相互作用过程。</P>
<P>这个过程和输入I有关。在图1—24(a)中，在输入模式I产生x的同时，也会激活取向子系统A；只是在A产生输出之前，F1中的x对A所产生的输出端就起禁止作用。当F2的反馈模式v与P1的输入模式[失配时，就会大大减弱这一禁止作用，当减弱到一定的程度时，A就被激活。如图1—24(c)所示。</P>
<P>A被激活之后就向F2送出重置信号．并作用于F2的全部神经元，从而改变F2的状态．取消了原来的自上而下的学习期望V；终止了V和I的失配；于是输入I再次作用直到F2产生新的状态Y*。如图1—24(d)所示。</P>
<P>Y*会产生新的自上而下的学习期望v*，如果v*仍然和I失配，那么，取向子系统A继续起作用；这样．产生一个快速的一系列匹配与重置过程。这个过程控制LTM的搜索从调整了LW对外界环境的编码。这个过程一直执行下去，直到F2送出的模式v和输人I相互匹配为止。</P>
<TABLE cellSpacing=0 cellPadding=0 width="100%" border=0>
<TBODY>
<TR>
<TD width="50%">
<P align=center><IMG height=279 src="6.files/4.4.ht28.gif" width=220
border=0></P></TD>
<TD width="50%">
<P align=center><IMG height=280 src="6.files/4.4.ht29.gif" width=224
border=0></P></TD></TR>
<TR>
<TD width="50%">
<P align=center><IMG height=282 src="6.files/4.4.ht30.gif" width=208
⌨️ 快捷键说明
复制代码
Ctrl + C
搜索代码
Ctrl + F
全屏模式
F11
切换主题
Ctrl + Shift + D
显示快捷键
?
增大字号
Ctrl + =
减小字号
Ctrl + -