93.txt

This complete matlab for neural network

个角度来说，对集成学习系统来说，随便把它的一个个体学习器拿出来，都是能解决整
个问题的，而对后面的这种系统来说，拿出一个个体学习器只能解决一个子问题，不能
解决整个问题。和后者最对应的应该是Modular system，多专家混合也非常偏向于后者。
Committe learning和集成学习要相近一些。而多分类器系统，则是在分类器意义上的
全包含。大家的最终目标实际上都是一样的，但由于途径不同，面对的难点就不太
一样了，所以研究重点也不太一样。另外，有的东西，很难严格地说它属于某一类。
不过，对到底什么是ensemble learning，现在并没有界定清楚。我们姑且把前面的提法
称为狭义的ensemble learning，而把只要利用多个学习器就叫ensemble的这种称为
广义的ensemble learning
: 
: 2 两种不同理论的集成学习
: 2.1 两种不同的机器学习[2]
:     （1）以贝叶斯理论为基础的机器学习，主要关注学习的划分问题，其代表是以BP..
: 为核心的神经网络研究。
:     （2）以统计学习理论为基础的机器学习，主要讨论学习的推广能力，其代表是以SVM
: 算法为核心的从数据到分布的归纳机理研究。
: 2.2 两种不同的集成学习
:     同样，由于以上两种不同的机器学习的存在，集成学习也分为两类：基于贝叶斯理论
: 的集成学习[3]和与统计学习理论有深刻渊源的集成学习（如Boosting和Bootstrap）[..

把贝叶斯理论和统计学习理论为标准划出两大类，未必合适。贝叶斯理论和统计学习
理论本来就不是对立的两个东西。实际上，ensemble learning这个词最早是被做贝叶斯
的人用出来的，而多学习器的思想很早以前就有了，但没有一个特别的名字，这也在一
定程度上导致了前面提到的那么多相关的概念，后来ensemble learning这个词慢慢地被
扩展到非贝叶斯学习系统，然后又慢慢地生长，到现在基本上就有了前面说的含义。在
ensemble learning的内涵还没有被清楚地界定出来之前，对它的分类是很困难甚至
不可能的。
: 
: 
: 3 几个相关的问题
:     （1）以上两种集成学习的划分是否正确？
:     （2）现在比较热门的主要是与统计学习理论有深刻渊源的集成学习，而在很多实..
: 用系统中，用的较多而且效果较好的主要还是基于贝叶斯理论的集成学习。那么请问，集
: 成学习的有效性真正理论基础是什么？还是人们实际工作的经验积累（如模式识别中流行
: 的Multi-Model System）[注2]？

这个问题应该还是open problem。虽然Dietterich在他的一系列文章里给出了一些
说法，但这些说法我不太认为是真正的“有效性理论基础”，说成是猜想或者直观解释
可能更合适些。个人认为，由于ensemble learning的内涵并没有清楚的界定，叫这个
名字的很多东西其实是利用了不同的机制，所以其有效性的理论基础未必是一样的。这
方面关于boosting类讨论得比较多，对bagging的讨论最近也开始有了。最终我们可能会
得到不同的有效性机制，然后可能根据不同的机制划分出不同的类别，但这是若干年后
的事了。

:     （3）如果要进行集成机器学习的研究（包括理论研究），哪10篇论文是必须学习..

boosting、bagging、stacking的文章应该是要看的，Krogh和Vedelsby的文章是重要的。
Ditterich在AI Mag97的文章也值得读。由于ensemble learning的内涵并没有界定清楚，
所以涉及的东西太多，目前还远没有到能很清楚地把这个领域的知识系统化的程度。
机器学习、模式识别、信息融合等等都有大量有关的内容，现阶段很难开出一个清楚的
单子。但是不妨把最近几年top journal和top conference上的有关文章找来看看。

:     （4）集成学习中那些方向是值得研究的（而且有可能出成果）[注3]？

这个就仁者见仁了，呵呵。

: 
: 备注
: [注1]
:     此处集成学习的中文翻译根据Daniel等人对于神经网络集成的中文理解[5]模拟来..
: [注2]
:     对于我所从事的和我所观察到的情况，大部分好的实用模式识别系统都是依据经验的
: Multi-Model Systems。
: [注3]
:     对于集成机器学习问题，我个人认为有三个比较棘手的问题（值得研究）。
:     （1）VC维：单个学习空间的VC维的确定很难有P解决方法，那么集成学习呢？有没有
: 存在相反的情况，即在集成学习中VC维的确定存在P方法？
:     （2）训练样本：很多模式识别的研究者认为，训练样本的选择和排列在实际应用..
: 往非常重要，有时甚至超过学习器本身结构的选择。怎样针对不同的学习器选择训练样本
: 是否应该是一个更加普遍的难题？
:     （3）学习器：第三个问题当然就是集成学习中各学习器的选择了。研究者普遍认..
: 如果各学习器是异构的，将能够较好的提高集成机器的推广能力。怎样判断各学习器的差
: 异？如果学习器是具有差异的，那么在集成中，怎样保证这些差异是互补的？
: 
: Reference 
: [1] A. Krogh, P. Sollich, "Statistical mechanics of ensemble learning", Physic
: al Review E, 55(1): 811-825, 1997.
: [2] 王珏, "机器学习研究", 演讲稿, 中国科学院自动化所, 2003.
: [3] H. Lappalainen, J. W. Miskin, "Ensemble Learning", Advances in Independent
:  Component Analysis (Ed. by Girolami, M), Springer-Verlag Scientific Publisher
: s, 2000.
: [4] R. E. Schapire, "A Brief Introduction of Boosting", The 16th International
:  Joint Conference on Artificial Intelligence, 1999.
: [5] 周志华, 陈世福, "神经网络集成", 计算机学报, 25(1): 1-8, 2002.
: 
: 
: 
: --
: 
: ※ 来源:．南京大学小百合站 http://bbs.nju.edu.cn [FROM: 218.247.128.213]
: 
: ※ 修改:．yinxucheng 於 Jul  3 16:11:38 2003 修改本文．[FROM: 218.247.128.2..


txytxy (nils) 于Thu Jul  3 18:08:40 2003)
提到：

补充一个问题，即使有办法选定了子分类器，如何确定每个分类器的权重很关键，
Daniel的文章中用了遗传算法，实际上是一种跳跃式的局部寻优算法，不知其他
算法的效果如何？我觉得这个问题根mixture model中的权重计算很类似，不知
是否有人试验过用类似em算法这样的迭代算法？请问Daniel有何高见，谢谢。

【 在 yinxucheng 的大作中提到: 】
: 
: 
: 引子
:     本人最近浅读了一些集成机器学习方面的文章，有一点心得，主要还是一堆问题..
: 望大家讨论，并指教。
: //////////////////////////////////////////////////////////////////////////..
: 
: 
: 1 什么叫集成学习
:     （1）在机器学习领域为“Ensemble Learning”，主要意思是指，“generaliza..
:  performance can often be improved by training not just one predictor, but..
: her using an ensemble, i.e., a collection of a (finite) number of predicto..
: all trained for the same task”[1]。中文意思大概为，“集成学习是用有限个学..
: 对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各学习器在该示例..
: 输出共同决定，以此来提高系统的推广能力”[注1]。如果学习器（Learner）为人工..
: 网络的时候，就是Daniel研究的神经网络集成（Neural Network Ensemble）。
:     （2）而在模式识别领域，更多的人愿意称为“A Multi-Model System”，意思