3.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: Re: 今天开始第三、四节的学习吧
发信站: 南京大学小百合站 (Sun Dec 29 00:52:46 2002)

总算把这一节看完了。几个概念很重要。我总结一下，大家请帮忙看看写的对否？

归纳偏置、PAC模型、VC维、出错模型都是描述学习算法的概念。
它们互相关系密切，但是也有区别。
1.归纳偏置指算法的最小断言集合，表现在概念学习算法中的假设空间的归纳偏置
    和决策树中的搜索策略的归纳偏置。是一个定性指标，一般来说偏置越强，
    算法越简单、特别。
 PAC模型是指算法在假设空间中达到目标概念的可能性。是一个量化的指标。
 VC维是指算法的打散能力，量化指标，VC维越高，算法越强。
 出错界限模型是指学习器收敛到正确假设前的总出错数。可量化，以最优出错界限
    做指标。
2.归纳偏置强，VC维要低最优，最优出错界限要低，在PAC框架下，容易达到
3.觉得本章研究这几个概念，中心在于样本复杂度的计算。
  PAC模型下研究的结果好像不如在VC维中研究来的更有效果，因为结果更紧凑，更
  富实用性，而且研究范围VC维来的广泛。
4.关于VC维，我看过SVM（支持向量机）有关的材料，SVM是在VC维基础上做的，所以
  这个概念很重要，据我所知，VC维还是很理论化，有很多算法的VC维不能有效计算，
  比如后向传播算法的多层感知器网络，本书也论述了，很多地方计算不出，只能近似。
  我师兄在1.11日我们数据挖掘讨论中，也会讲到，决策树的VC维理论计算值，不如
  经验值来的有用，范围还是太大。

先写这些，错误之处，欢迎批评指正。

【 在 GzLi (笑梨) 的大作中提到: 】
: Inductive bias, （ch. 2 )
: PAC learning, VC dimension, Mistake bounds (ch.7)
: please read last part of ch2.ps and  ch7.ps.
: 我看了一下书发现这几个概念很重要，而且是相关的，所以我想放到一个里面
: 学习，好好讨论几天。


--
              ***  端庄厚重 谦卑含容 事有归着 心存济物  ***
数据挖掘  http://[e-mail]/

※ 来源:．南京大学小百合站 bbs.nju.edu.cn．[FROM: 211.80.38.17]