📄 1．5 kohonen模型.htm
字号:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<!-- saved from url=(0044)http://www.jgchina.com/ednns/ednnsbk/4.5.htm -->
<HTML><HEAD><TITLE>1．5 Kohonen模型</TITLE>
<META http-equiv=Content-Type content="text/html; charset=gb2312">
<META content="MSHTML 6.00.2800.1106" name=GENERATOR>
<META content=FrontPage.Editor.Document name=ProgId><LINK
href="1．5 Kohonen模型.files/style.css" type=text/css rel=stylesheet></HEAD>
<BODY bgColor=#ffffff leftMargin=0 topMargin=0>
<TABLE height=71 cellSpacing=0 cellPadding=0 width=778 border=0>
<TBODY>
<TR>
<TD width="100%" height=1>
<P><A
href="http://www.jgchina.com/ednns/ednnsbk/director.htm">回目录</A>
<A
href="http://www.jgchina.com/ednns/ednnsbk/4.4.4.htm">上一页</A>
<A href="http://www.jgchina.com/ednns/ednnsbk/5.htm">下一页</A></P></TD></TR>
<TR>
<TD width="100%" height=16>
<P align=center>1．5 Kohonen模型</P></TD></TR>
<TR>
<TD width="100%" height=194>
<P>在对人类的神经系统及脑的研究中，人们发现：人脑的某些区域对某种信息或感觉敏感，如人脑的某一部分进行机械记忆特别有效；而某一部分进行抽象思维特别有效。这种情况使人们对大脑的作用的整体性与局部性特征有所认识。
</P>
<P>对大脑的研究说明，大脑是由大量协同作用的神经元群体组成的。大脑的神经网络是一个十分复杂的反馈系统；在这个系统含有各种反馈作用，有整体反馈，局部反馈；另外，还有化学交互作用。在大脑处理信息的过程中，聚类是其极其重要的功能。大脑通过聚类过程从而识别外界信号，并产生自组织过程。</P>
<P>依据大脑对信号处理的特点，在1981年，T．Kohonen提出了一种神经网络模型，也就是自组织特征映射模型SOM(Seh—Organizing
fenture Map)。</P>
<P>Kohonen认为人的大脑有如下特点：</P>
<P>1．大脑的神经元虽然在结构上相同，但是它们的排序不同。排序不是指神经元位置的移动，而是指神经元的有关参数在神经网络受外部输入刺激而识别事物的过程中产生变动。</P>
<P>2．大脑中神经元参数在变动之后形成特定的参数组织；具有这种特定参数组织的神经网络对外界的特定事物特别敏感。</P>
<P>3．根据生物学和神经生理学，大脑皮层分成多种不同的局部区域，各个区域分别管理某种专门的功能，比如听觉、视觉、思维等。</P>
<P>4．大脑中神经元的排序受遗传决定，但会在外界信息的刺激下，不断接受传感信号，不断执行聚类过程，形成经验信息，对大脑皮层的功能产生自组织作用，形成新功能。</P>
<P>Kohonen的思想在本质上是希望解决有关外界信息在人脑中自组织地形成概念的问题。对于一个系统来说，就是要解决一个系统在受外界信息作用时在内部自组织地形成对应表示形式。这包括神经网络的权系数调整。</P>
<P>神经网络的自调整过程和大脑的自组织过程是相仿的。由于神经网络是由可以自调整的神经元组成；所以，可以自组织成对外界信息中某一种特征敏感的形式。</P>
<P>1．5．1 神经元的侧向交互原理</P>
<P>目前对人脑的研究说明：大脑皮层中，神经元是呈2维空间排列的；它的输人信号很明显来自两个部分。这种输人情况如图1—27所示。在图中可以看出：有外部区域的输入和同一区域的反馈输入。</P>
<P align=center><IMG height=327 src="1．5 Kohonen模型.files/4.5.ht6.gif"
width=524 border=0></P>
<P align=center>图1—27 大脑神经网络2维结构示图</P></TD></TR>
<TR>
<TD width="100%" height=18>
<P>神经元之间的信息交互方式有很多种，不过研究表明：相邻近的神经元之间的局部交互的方式是侧向交互。这种侧向交互方式遵从下列有关规则： </P>
<P>1．以发出信号的神经元为圆心，对近邻的神经元的交互作用表现为兴奋性侧反馈；</P>
<P>2．以发出信号的神经元为圆心，对远邻的神经元的交互作用表现为抑制性侧反馈。</P>
<P align=center><IMG height=295 src="1．5 Kohonen模型.files/4.5.ht7.gif"
width=608 border=0></P>
<P align=center>图1-28 侧交互模式</P></TD></TR>
<TR>
<TD width="100%" height=18>
<P>这种规则说明近邻者相互激励，远邻者相互抑制。一般而言，近邻是指从发出信号的神经元为圆心．半径约为50—500<SPAN lang=EN-US
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">µ</SPAN>m左右的神经元；远邻是指半径为200<SPAN
lang=EN-US
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">µ</SPAN>m—2mm左右的神经元。比远邻更远的神经元则表现的是弱激励作用。这样，这种局部交互方式如图1—28所示。由于这种交互作用的曲线类似于墨西哥人带的帽子，所以也称这种交互方式为“墨西哥帽”。
</P>
<P>神经网络中，邻近的各个神经元之间通过相互的侧向交互作用，从而产生相竞争的过程，自适应地形成了针对特殊信息的组织结构。很明显，这种结构可以成为检测特殊信息的特殊检测器。这样，神经网格的自组织过程和行为，可以成为一种检测各种不同信息模式的检测相识别器。这也是自组织持征映射的意义所在。</P>
<P>1．5．2二维阵列SOM模型</P>
<P>自组织特征映射SOM模型可以用二维阵列表示。这种结构如图1-29所示。</P>
<P align=center><IMG height=277 src="1．5 Kohonen模型.files/4.5.ht8.gif"
width=512 border=0></P>
<P align=center>图1-29 二维阵列SOM模型</P></TD></TR>
<TR>
<TD width="100%" height=18>
<P>二维阵列神经网络由输入层和竞争层组成。输入层是一维的神经元。竞争层是二维的神经元。输入层的神经元和二维阵列竞争层的神经元每个都相互连接。二维阵列竞争层也称输出层。
</P>
<P>在二维阵列竞争层中，可以清楚看出：每一个输出神经元都和最近相邻的8个神经元相连；当然，最边沿的神经元和3—5个神经元相连，但这只是最边沿的神经元才会这样。而从二维阵列内部一般有：每个输出神经元和8个最相邻的神经元相连。在SOM模型中，对于神经元j，它的外部输入信号可以用I<SUB>j</SUB>表示：</P>
<DIV align=center>
<CENTER>
<TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
<TBODY>
<TR>
<TD width="73%"><IMG height=32 src="1．5 Kohonen模型.files/4.5.ht9.gif"
width=104 border=0></TD>
<TD width="27%">(1-86)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
<TR>
<TD width="100%" height=40>
<P>其中：x<SUB>i</SUB>是外部输入信号； </P>
<P>W<SUB>ij</SUB>是输入神经元i到输出神经元j之间的权系数。</P>
<P>对神经元j来说，它的输出Y<SUB>j</SUB>的活动可以用如下微分方程表示：</P>
<DIV align=center>
<CENTER>
<TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
<TBODY>
<TR>
<TD width="73%"><IMG height=51
src="1．5 Kohonen模型.files/4.5.ht10.gif" width=221 border=0></TD>
<TD width="27%">(1-87)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
<TR>
<TD width="100%" height=5>
<P>其中：S<SUB>j</SUB>是和神经元j相联系的神经元子集； </P>
<P>r<SUB>k</SUB>是系数，它和权系数和横向连接结构有关；</P>
<P>g(Y<SUB>j</SUB>)是非线性损失，如神经元饱和，分流和泄漏效应等。</P>
<P>神经元的输入情况可以用因1—30来表示。</P>
<P align=center><IMG height=395 src="1．5 Kohonen模型.files/4.5.ht11.gif"
width=625 border=0></P>
<P align=center>图1-30 神经元的输入情况</P></TD></TR>
<TR>
<TD width="100%" height=13>
<P>神经元的输出Y<SUB>j</SUB>的初始分布可能是随机的；但随着时间的变化，由于输出层神经元有侧向交互的作用，Y<SUB>i</SUB>的分布就会因对环境的组织而形成“气泡”状，这种状态如图1—28所示。
</P>
<P>在神经网络中，随外部环境的输入，神经元的权系数是自适应变化的；这一过程就是神经网络自学习的过程。神经元自适应过程是和其输出值，外部输入，权系数都有关系，一般用如下方程表示：</P>
<DIV align=center>
<CENTER>
<TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
<TBODY>
<TR>
<TD width="73%"><IMG height=45
src="1．5 Kohonen模型.files/4.5.ht12.gif" width=173 border=0></TD>
<TD width="27%">(1-88)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
<TR>
<TD width="100%" height=438>
<P>其中：w<SUB>j</SUB>是权系数向量，W<SUB>j</SUB>＝(W<SUB>1j</SUB>，W<SUB>2j</SUB>，…W<SUB>nj</SUB>)<SUP>T</SUP>；
</P>
<P>X是输入向量，X＝(X<SUB>1</SUB>，X<SUB>2</SUB>，…，X<SUB>n</SUB>)<SUP>T</SUP>；</P>
<P><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">α,β</SPAN>是正的标量常数。</P>
<P>神经元在自适应过程中所形成的“气泡”，在本质上是产生和输入模式对于表示形态。</P>
<P>而这种“气泡”是以特定的神经元c为中心的，并且是以一定半径所包围的神经元子集Nc，如果令</P>
<P>Y<SUB>j</SUB><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">∈(0,1)</SPAN></P>
<P><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">β∈(0,</SPAN><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">α)</SPAN></P>
<P><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">并且有</SPAN></P>
<P><IMG height=159 src="1．5 Kohonen模型.files/4.5.ht13.gif" width=184
border=0></P>
<P>这在实质上要求神经元在所给定的半径范围之内的Nc子集中时，则其输出为1；而在子集N<SUB>c</SUB>之外时，则其输出为0。同时，系数<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">β</SPAN>在神经元处于N<SUB>c</SUB>之内时，取值为<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">α</SPAN>；否则取值为0。</P>
<P>很明显，这时的神经元自适应过程表示如下：</P>
<DIV align=center>
<CENTER>
<TABLE height=184 cellSpacing=0 cellPadding=0 width="80%" border=0>
<TBODY>
<TR>
<TD width="84%" height=145><IMG height=142
src="1．5 Kohonen模型.files/4.5.ht14.gif" width=172 border=0></TD>
<TD width="16%" height=145>(1-89)</TD></TR>
<TR>
<TD width="84%" height=2>
<P>考虑j<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">∈</SPAN>N<SUB>c</SUB>和j/<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">∈</SPAN>N<SUB>c</SUB>两种情况，则自组织过程可用两个不同条件的式子表示，并且有</P></TD>
<TD width="16%" height=2></TD></TR>
<TR>
<TD width="84%" height=18><IMG height=102
src="1．5 Kohonen模型.files/4.5.ht15.gif" width=255 border=0></TD>
<TD width="16%"
height=18>(1-90)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
<TR>
<TD width="100%" height=22>
<P>上式说明：在自组织过程中，SOM模型神经元所处的位置对学习结果有影响。当和中心神经元C的距离较近，在给定半径之内时，权系数以输入模式和现行权系数Wj之差的一定水平进行修改；和神经元C的距离较远，则权系数不变。
</P>
<P>1．5．3 SOM模型的学习算法</P>
<P>在神经网络的SOM模型中，每一个权系数的有序序列
Wj=(W1j，W2j，...Wnj)都可以看作是神经网络的一种内部表示，它是有序的输入序列X=(X1，X2，...，Xn)的相对应映象。</P>
<P>SOM模型可以实现自组织功能。自组织的目的就是通过调整权系数Wij，使神经网络收敛于一种表示形态，在这一表示形态中的一个神经元只对某种输入模式特别匹配或特别</P>
<P>敏感。换而言之．自组织映射的目的就是使神经元的权系数的形态表示可以间接模仿输入的信号模式。<BR>自组织特征映射SOM的学习算法是由两部分组成的，这两部分如下</P>
<P>1．最优匹配神经元的选择；</P>
<P>2．网络中权系数的自组织过程。</P>
<P>这两部分是相互相成的，它们共同作用才能完成自组织特征映射的学习过程。选择最优匹配神经元实质是选择输入模式对应的中心神经元C。权系数的自组织过程则是以“墨西哥帽”的形态来使输入模式得以存放。</P>
<P>每执行一次学习，则SOM网络中就会对外部输入模式执行一次自组织适应过程；其结果是强化现行模式的映射形态，弱化以往模式的映射形态。下面分别对自组织特征映射SOM的学习算法两个部分进行介绍。</P>
<P>一、最优匹配神经元的选择</P>
<P>设有输入模式x</P>
<P>x＝(x<SUB>1</SUB>，x<SUB>2</SUB>，…，x<SUB>n</SUB>)<SUP>T</SUP></P>
<P>对于自组织特征映射SOM网络的输出层神经元j，则有权系数向量W<SUB>j</SUB></P>
<P>W<SUB>j</SUB>=(W<SUB>1j</SUB>,W<SUB>2j</SUB>,...W<SUB>nj</SUB>)<SUP>T</SUP><SUB>
</SUB>j=1,2,...,n</P>
<P>权系数向量是对输入模式的映射，也即是说，权系数向量某一形态对应于某一输入模式。输入模式x和权系数W<SUB>j</SUB>的匹配程度是用两者的内积表示的，即用X<SUP>T</SUP>W<SUB>j</SUB>表示。内积最大处正是“气泡”中心。内积x<SUP>T</SUP>w<SUB>j</SUB>最大时，则必定有x和W<SUB>j</SUB>之间的向量差的范数<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">‖</SPAN>x—W<SUB>j</SUB><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋体; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">‖</SPAN>最小，这个最小矩离就确定了最优匹配的神经元C；从而有“气泡”中心C，满足：</P>
<DIV align=center>
<CENTER>
<TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
<TBODY>
<TR>
<TD width="73%"><IMG height=47
src="1．5 Kohonen模型.files/4.5.ht16.gif" width=256 border=0></TD>
<TD width="27%">(1-91)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
<TR>
<TD width="100%" height=26>
<P>其中：Wc是神经元c的权系数向量。 </P>
<P>这个式子也就是匹配规则。</P>
<P>上面式子说明：气泡中心就是神经元C，它的权系数向量Wc同输入模式x有最优匹配。</P>
<P>注意<SPAN
⌨️ 快捷键说明
复制代码
Ctrl + C
搜索代码
Ctrl + F
全屏模式
F11
切换主题
Ctrl + Shift + D
显示快捷键
?
增大字号
Ctrl + =
减小字号
Ctrl + -