17.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [合集]今天开始第三、四节的学习吧
发信站: 南京大学小百合站 (Tue Jan  7 10:44:09 2003)

GzLi (笑梨) 于Fri Dec 27 00:45:22 2002)
提到：

Inductive bias, （ch. 2 )
PAC learning, VC dimension, Mistake bounds (ch.7)
please read last part of ch2.ps and  ch7.ps.

我看了一下书发现这几个概念很重要，而且是相关的，所以我想放到一个里面
学习，好好讨论几天。


GzLi (笑梨) 于Fri Dec 27 14:05:58 2002)
提到：

请大家注意，我把这个帖子改了。
请大家三、四一起学习讨论。



GzLi (笑梨) 于Fri Dec 27 21:25:06 2002)
提到：

这一节中有几个词当心点，中文本中有“析取”“合取”至少我不熟悉。
其实就是布尔代数中的“或”跟“与”。



GzLi (笑梨) 于Sun Dec 29 00:52:46 2002)
提到：

总算把这一节看完了。几个概念很重要。我总结一下，大家请帮忙看看写的对否？

归纳偏置、PAC模型、VC维、出错模型都是描述学习算法的概念。
它们互相关系密切，但是也有区别。
1.归纳偏置指算法的最小断言集合，表现在概念学习算法中的假设空间的归纳偏置
    和决策树中的搜索策略的归纳偏置。是一个定性指标，一般来说偏置越强，
    算法越简单、特别。
 PAC模型是指算法在假设空间中达到目标概念的可能性。是一个量化的指标。
 VC维是指算法的打散能力，量化指标，VC维越高，算法越强。
 出错界限模型是指学习器收敛到正确假设前的总出错数。可量化，以最优出错界限
    做指标。
2.归纳偏置强，VC维要低最优，最优出错界限要低，在PAC框架下，容易达到
3.觉得本章研究这几个概念，中心在于样本复杂度的计算。
  PAC模型下研究的结果好像不如在VC维中研究来的更有效果，因为结果更紧凑，更
  富实用性，而且研究范围VC维来的广泛。
4.关于VC维，我看过SVM（支持向量机）有关的材料，SVM是在VC维基础上做的，所以
  这个概念很重要，据我所知，VC维还是很理论化，有很多算法的VC维不能有效计算，
  比如后向传播算法的多层感知器网络，本书也论述了，很多地方计算不出，只能近似。
  我师兄在1.11日我们数据挖掘讨论中，也会讲到，决策树的VC维理论计算值，不如
  经验值来的有用，范围还是太大。

先写这些，错误之处，欢迎批评指正。