8.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [转载] 张钹谈--神经元网络的回顾及应用（2）
发信站: 南京大学小百合站 (Fri Nov  1 22:39:39 2002), 站内信件

【 以下文字转载自 AI 讨论区 】
【 原文由 yinsoft 所发表 】

    如何处理大数据量计算?
    为什么大规模的计算在神经元网络里也做不成呢?这要从神经元网络
原来的计算思想说起。神经元网络是想用非常简单的计算单元,就是函数,
来进行计算。输入一个向量,输出是一个数,大概每个计算都是一个函数,
而且是非线性函数。系统把这些非线性函数连在一起形成网络来进行计算
。这个计算模型是靠训练来建立的,我们不必对这个问题了解很深;而过去
的计算模型则要求我们必须对这个问题了解非常清楚之后才能做出计算模
型。这是它的优点,同时也造成了它的缺点,即:当训练样本特别多时,学习
的复杂性和规模都太大了,学习老学不成。学习的方法是搜索,但由于我们
经验知识很少,搜索时可以借鉴的知识很少,因此当规模非常大时,学习就难
以奏效。所以,神经元网络不论什么样的模型,一般在小规模情况下都做得
很好,大规模情况下都有问题,原因就在这里。
    神经元网络刚诞生时是作为人工智能的对手提出来的,业界人士认为其
优势可以代替传统的方式;经过这几年的研究,现在大家意识到,它们的方法
是互补的,互相各有优缺点。所以结论是这样:神经元网络的模型可以在某
些方面比传统方法好,而传统方法在某些方面要比神经元网络好,但是并不
存在用传统方法做不了的事情神经元网络可以做。也就是说从计算的模型
和本质来讲,它们是有些不同的,但没有本质的不同。根据这种情况,下一步
的问题是怎样使神经元网络更有用,这实际上就是我们面临的挑战。
    未来的计算面临着很多技术问题。Lampson曾提到:工程师花一角钱能
做的事情,傻瓜花一块钱也能做。我借用这个来说明:计算机花一秒去做的
事情,傻瓜花几小时、几天或几年时间也能做。也就是说计算机能做的事
情人都能做,无非是计算机做得更快(当然也有些人很容易能做的事,而计
算机根本不知道怎么做。这是另外一个方面,我们暂不讨论)。现在计算机
处理速度更快了,动画、三维、二维处理都没有问题。这里有计算模型的原
因,也有计算有效方法的原因。体现在神经元网络方面,我们现在要做的事,
就是使它工作得更快、更好。
    在神经元网络方面,最近我们做了一些工作,并从中可以看出该技术是
很有潜力的。比如,我们原来的计算机学习时复杂性很高,因为它用的方法
是从底向上的学习方法,而传统的计算方法是从顶向下的。我们现在就把从
顶向下的构造方法加入到神经元网络中去,使系统在处理大量数据问题时很
有效,做法非常简单。这其实是一个重要的21世纪需要解决的科研课题。其
原因是:每个神经元网络相当于一个超平面,超平面在空间分割的时候搜索是
盲目的;我们现在把它变化到一个曲面空间去,这样就可以在曲面空间里把
它变成一个领域覆盖的问题,靠数学方法来构造,而不是靠盲目搜索。我们
用最小覆盖法来计算,速度非常快,在这个基础上建立一套学习方法,计算的
复杂性就低得多。这种方法是用简单的神经元结成网,来并行计算,现在我
们用软件模似,优势不明显;但如果用硬件来实现,完全可以实现并行处理,
这样就可以解决大规模、大数据量的问题。我国中科院半导体所已经做出
了这样的硬件,该神经元网络多达200多个节点,计算时间可以很短。刚才我
们谈论的是21世纪的计算需要解决的问题是如何处理大数据量的复杂计算,
如何研究比较好的计算模型和计算方法以及好的硬件来实现。下面我们讨
论另外一个问题,即:怎样进行基于内容的计算。

--
※ 来源:．南京大学小百合站 dii.nju.edu.cn．[FROM: aiake1.nju.edu.c]
--
※ 转载:．南京大学小百合站 bbs.nju.edu.cn．[FROM: 211.80.38.17]