5.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [转载] 神经网络介绍 (4) 高阶神经网络
发信站: 南京大学小百合站 (Fri Nov  1 22:30:23 2002), 站内信件

【 以下文字转载自 AI 讨论区 】
【 原文由 gaoy 所发表 】

【 以下文字转载自 EEtechnology 讨论区 】
【 原文由 blaze 所发表 】
四. 高阶神经网络
    高阶神经网络也经常用于信号处理中，尤其是用于非线性信号处理
及不变性模式识别中。k阶神经网络第i个神经元的输出为
    y(i)=f(i)[T0(i)+T1(i)+......+Tk(i)]
式中f(i)(.)为神经元的传递函数，k是神经元输入加权和的最高幂次，
即为阶数，Tk(i)(i=1,2,...,k)是第i个神经元的第k阶项，是输入矢量
k阶分量乘积的加权和。T0(i)为神经元的阀值。
    与多层感知相类似，这种高阶神经网络也具有很强的非线性变换特
性。利用Volterra级数理论可以证明：一个阶数足够高的高阶神经网络
能在精度范围内实现任意的非线性变换。
    高阶神经网络的权值学习，通常也采用最速下降法。
    与多层感知器相比，高阶神经网络具有以下特点：
    (1)由于网络的输出与输入的高阶相关函数相对应，因此容易实现平
移不变性、旋转不变性、比例不变性模式识别；
    (2)这种网络的输出对应着Volterra泛函数的展开式，因此，具有较
系统的数学理论基础。从信号处理的角度上讲，它与Volterra非线性滤
波、高阶谱与累积量估计直接相联系；
    (3)由于网络不存在隐层，因此可以获得较快的训练速度，且不容易
出现局部最小问题，也避免了难以解决的隐单元个数选择问题。
    高阶神经网络的明显不足是：随着阶数的增加，权矩阵的维数将以几
何幂速度增长，因此，在高阶情况下，这种网络的学习和硬件实现变得很
困难。

--
※ 来源:．南京大学小百合站 dii.nju.edu.cn．[FROM: saw.nju.edu.cn]
--
※ 转载:．南京大学小百合站 dii.nju.edu.cn．[FROM: aiake1.nju.edu.c]
--
※ 转载:．南京大学小百合站 bbs.nju.edu.cn．[FROM: 211.80.38.17]