93.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [转载] [合集]集成机器学习的讨论
发信站: 南京大学小百合站 (Tue Jul  8 11:45:33 2003)

【 以下文字转载自 AI 讨论区 】
【 原文由 miningboy 所发表 】

yinxucheng (yxc) 于Thu Jul  3 16:04:39 2003)
提到：

引子
    本人最近浅读了一些集成机器学习方面的文章，有一点心得，主要还是一堆问题。希
望大家讨论，并指教。
/////////////////////////////////////////////////////////////////////////////

1 什么叫集成学习
    （1）在机器学习领域为“Ensemble Learning”，主要意思是指，“generalization
 performance can often be improved by training not just one predictor, but rat
her using an ensemble, i.e., a collection of a (finite) number of predictors, 
all trained for the same task”[1]。中文意思大概为，“集成学习是用有限个学习器
对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各学习器在该示例下的
输出共同决定，以此来提高系统的推广能力”[注1]。如果学习器（Learner）为人工神经
网络的时候，就是Daniel研究的神经网络集成（Neural Network Ensemble）。
    （2）而在模式识别领域，更多的人愿意称为“A Multi-Model System”，意思是指，
对于某一个分类问题，针对不同的特征形成多个分类模式，然后对这些模式进行集成，从
而形成最终的分类器。
    （3）我认为上面两种称呼都有一定道理，应该是一致的。只是，机器学习中的集成方
法更侧重理论上的推导和论证；而模式识别中的多模式方法则注重对于实际系统的可用性
与实用性。它们的最终目标应该是一致的，都为了提高研究对象的推广能力。

2 两种不同理论的集成学习
2.1 两种不同的机器学习[2]
    （1）以贝叶斯理论为基础的机器学习，主要关注学习的划分问题，其代表是以BP算法
为核心的神经网络研究。
    （2）以统计学习理论为基础的机器学习，主要讨论学习的推广能力，其代表是以SVM
算法为核心的从数据到分布的归纳机理研究。
2.2 两种不同的集成学习
    同样，由于以上两种不同的机器学习的存在，集成学习也分为两类：基于贝叶斯理论
的集成学习[3]和与统计学习理论有深刻渊源的集成学习（如Boosting和Bootstrap）[4]。

3 几个相关的问题
    （1）以上两种集成学习的划分是否正确？
    （2）现在比较热门的主要是与统计学习理论有深刻渊源的集成学习，而在很多实际运
用系统中，用的较多而且效果较好的主要还是基于贝叶斯理论的集成学习。那么请问，集
成学习的有效性真正理论基础是什么？还是人们实际工作的经验积累（如模式识别中流行
的Multi-Model System）[注2]？
    （3）如果要进行集成机器学习的研究（包括理论研究），哪10篇论文是必须学习与理解的（非常急切）？
    （4）集成学习中那些方向是值得研究的（而且有可能出成果）[注3]？

备注
[注1]
    此处集成学习的中文翻译根据Daniel等人对于神经网络集成的中文理解[5]模拟来的。
[注2]
    对于我所从事的和我所观察到的情况，大部分好的实用模式识别系统都是依据经验的
Multi-Model Systems。
[注3]
    对于集成机器学习问题，我个人认为有三个比较棘手的问题（值得研究）。
    （1）VC维：单个学习空间的VC维的确定很难有P解决方法，那么集成学习呢？有没有
存在相反的情况，即在集成学习中VC维的确定存在P方法？
    （2）训练样本：很多模式识别的研究者认为，训练样本的选择和排列在实际应用中往
往非常重要，有时甚至超过学习器本身结构的选择。怎样针对不同的学习器选择训练样本
是否应该是一个更加普遍的难题？
    （3）学习器：第三个问题当然就是集成学习中各学习器的选择了。研究者普遍认为，
如果各学习器是异构的，将能够较好的提高集成机器的推广能力。怎样判断各学习器的差
异？如果学习器是具有差异的，那么在集成中，怎样保证这些差异是互补的？

Reference 
[1] A. Krogh, P. Sollich, "Statistical mechanics of ensemble learning", Physic
al Review E, 55(1): 811-825, 1997.
[2] 王珏, "机器学习研究", 演讲稿, 中国科学院自动化所, 2003.
[3] H. Lappalainen, J. W. Miskin, "Ensemble Learning", Advances in Independent
 Component Analysis (Ed. by Girolami, M), Springer-Verlag Scientific Publisher
s, 2000.
[4] R. E. Schapire, "A Brief Introduction of Boosting", The 16th International
 Joint Conference on Artificial Intelligence, 1999.
[5] 周志华, 陈世福, "神经网络集成", 计算机学报, 25(1): 1-8, 2002.


daniel (飞翔鸟) 于Thu Jul  3 17:39:13 2003)
提到：

【 在 yinxucheng (yxc) 的大作中提到: 】
: 发信人: yinxucheng (yxc), 信区: AI
: 标  题: 集成机器学习的讨论
: 发信站: 南京大学小百合站 (Thu Jul  3 16:04:39 2003)
: 
: 
: 引子
:     本人最近浅读了一些集成机器学习方面的文章，有一点心得，主要还是一堆问题。希
: 望大家讨论，并指教。
: /////////////////////////////////////////////////////////////////////////////
: 

这个帖子有点意思

: 
: 1 什么叫集成学习
:     （1）在机器学习领域为“Ensemble Learning”，主要意思是指，“generalization
:  performance can often be improved by training not just one predictor, but rat
: her using an ensemble, i.e., a collection of a (finite) number of predictors, 
: all trained for the same task”[1]。中文意思大概为，“集成学习是用有限个学习器
: 对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各学习器在该示例下的
: 输出共同决定，以此来提高系统的推广能力”[注1]。如果学习器（Learner）为人工神经
: 网络的时候，就是Daniel研究的神经网络集成（Neural Network Ensemble）。
:     （2）而在模式识别领域，更多的人愿意称为“A Multi-Model System”，意思是..
: 对于某一个分类问题，针对不同的特征形成多个分类模式，然后对这些模式进行集成，从
: 而形成最终的分类器。
:     （3）我认为上面两种称呼都有一定道理，应该是一致的。只是，机器学习中的集..
: 法更侧重理论上的推导和论证；而模式识别中的多模式方法则注重对于实际系统的可用性
: 与实用性。它们的最终目标应该是一致的，都为了提高研究对象的推广能力。

Ensemble Learning现在基本上就叫集成学习。相关的概念有上面说的多模型系统（这
实际上在很大程度上对应了机器学习里面的多专家混合）、Committee Learning、
Modular systems、多分类器系统等等。这些概念相互之间有非常密切的联系，但仔细
来说还是有些区别。问题是对这些概念的界定，目前并没有什么共识，有时不同的人在
用不同的术语说同一个东西，也有时是用同一个术语说不同的东西，所以区别也只能是
各说各话了。个人认为，集成学习一个非常重要的性质就是个体学习器是为同一个问题
进行学习，这与分而治之式地把问题分解为若干个子问题，然后再想办法从个别解求得
整体解是不同的，因为前者导致了学习的难点在于个体学习器差异的获得，而后者则在
差异上没有难点（因为个体本来就是解决不同的问题），而在问题分解上很困难。换一