15.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [合集]Prof.Zhou Zhihuad的一篇survey
发信站: 南京大学小百合站 (Fri Dec  6 15:17:35 2002), 站内信件

GzLi (笑梨) 于Thu Dec  5 22:03:44 2002提到：

Prof. ZhouZhihua，关于ensemble of Neural network.
datamining/paper/paper from fudan

下面是网友关于此的一个总结。zz from 日月光华。（ft. 这个站只能1500人在线，
                                                    速度极慢）

发信人: unique (不拔追求), 信区: AI
标  题: Re: 听了报告，受益多多
发信站: 日月光华 (2002年12月02日20:43:01 星期一), 站内信件

我和你简单讲讲吧
neural network ensemble里的ensemble可翻作整合，或者是集成。
以往的nn只有一个，对单个nn训练完毕后给输入，看输出，就这样用。
但是researcher认为样本数据足够多的情况下，可以每次随机取出不同的数据构造n
个nn，一起运行协助判断。
构造的方法分bagging和boost两种。
前者是用同一种数据采样的方法构造nn，然后将每个神经网络的判定结果取平均值。
这个方法将每个判断平均，有点像eva里的三贤人。所以准确性一般较好，但得保证每
次的数据取得不同，因而每个nn构造得有区别，并且要保证单个的nn正确率不会太低，
不然很可能结果并一下正确率反而更低。这个方法好像是常用的。
后者是先构造一个nn，然后训练的时候看哪些特征好、哪些特征不好。所谓好和不好大
概就是在这个nn里这个特征能影响判断的程度（我的理解）。然后将这个结果作为下一
个nn构造前的预知识，不再将前面得到的较好的特征继续训练，而是训练先前较差的那
些。它对于某些问题的解决改进的程度是巨大的，但也存在有一些极端情况，比如一开
始的的nn里数据特征取得比较偏颇，导致后来的改进不在要点上。使用时则要对每个nn
的结果加权求平均，至于权值如何变化不太记得了，肯定是和生成序列有关的。

大概就是这样，说得不对请听过的人指正 :)


ihappy (seagullx~壮起鼠胆把猫打倒) 于Thu Dec  5 23:53:57 2002提到：

【 在 GzLi (笑梨) 的大作中提到: 】
: 发信人: GzLi (笑梨), 信区: DataMining
: 标  题: Prof.Zhou Zhihuad的一篇survey
: 发信站: 南京大学小百合站 (Thu Dec  5 22:03:44 2002), 站内信件
: 
: 
: Prof. ZhouZhihua，关于ensemble of Neural network.
: datamining/paper/paper from fudan
: 
: 下面是网友关于此的一个总结。zz from 日月光华。（ft. 这个站只能1500人在线，
:                                                     速度极慢）
: 
: 发信人: unique (不拔追求), 信区: AI
: 标  题: Re: 听了报告，受益多多
: 发信站: 日月光华 (2002年12月02日20:43:01 星期一), 站内信件
: 
: 我和你简单讲讲吧
: neural network ensemble里的ensemble可翻作整合，或者是集成。
: 以往的nn只有一个，对单个nn训练完毕后给输入，看输出，就这样用。
: 但是researcher认为样本数据足够多的情况下，可以每次随机取出不同的数据构造n
                                ----------not necessarily
: 个nn，一起运行协助判断。
: 构造的方法分bagging和boost两种。
                           --two categroies, not two kinds
: 前者是用同一种数据采样的方法构造nn，然后将每个神经网络的判定结果取平均值。
         -------what's 同一种？it's random sample with replacement
: 这个方法将每个判断平均，有点像eva里的三贤人。所以准确性一般较好，但得保证每
: 次的数据取得不同，因而每个nn构造得有区别，并且要保证单个的nn正确率不会太低，
  --it's guranteed                               --- maybe, but not necessarily
: 不然很可能结果并一下正确率反而更低。这个方法好像是常用的。
: 后者是先构造一个nn，然后训练的时候看哪些特征好、哪些特征不好。所谓好和不好大
                                   ---totally wrong, it's instance, not feature
: 概就是在这个nn里这个特征能影响判断的程度（我的理解）。然后将这个结果作为下一
                  --again, instance    --it's wrong
: 个nn构造前的预知识，不再将前面得到的较好的特征继续训练，而是训练先前较差的