83.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [合集]关于SVM的 Model Selection
发信站: 南京大学小百合站 (Sat May 10 19:24:02 2003)

bjxue (南方小孩) 于Wed Apr 16 10:28:00 2003)
提到：

看了SVM一段时间，虽然还有很多不明白。
但是现在所要做的是

rbf 中参数的选择。特别是其中的 sigma 和 C

我看了几个文献，但是不是很明白

大家来讨论一下吧。

问题：1）sigma 和 C 的选取和我们的错判率有什么关系？
      2）我们在要控制错判率是怎么选择 sigma 和 C

hillwind (research on mind) 于Wed Apr 16 21:38:20 2003)
提到：

感觉如果sigma越小，或者C越大，由训练数据得到的分界面越不smooth
所以经验风险会减小，但是generation的效果可能会因此而打折
不知道这样理解对不对

【 在 bjxue (南方小孩) 的大作中提到: 】
: 
: 看了SVM一段时间，虽然还有很多不明白。
: 但是现在所要做的是
: 
: rbf 中参数的选择。特别是其中的 sigma 和 C
: 
: 我看了几个文献，但是不是很明白
: 
: 大家来讨论一下吧。
: 
: 问题：1）sigma 和 C 的选取和我们的错判率有什么关系？
:       2）我们在要控制错判率是怎么选择 sigma 和 C


fpzh (fpzh) 于Thu Apr 17 09:07:39 2003)
提到：

我在水木也看到过类似的说法

【 在 hillwind (research on mind) 的大作中提到: 】
: 感觉如果sigma越小，或者C越大，由训练数据得到的分界面越不smooth
: 所以经验风险会减小，但是generation的效果可能会因此而打折
: 不知道这样理解对不对
: 【 在 bjxue (南方小孩) 的大作中提到: 】


intel (泽) 于Thu Apr 17 19:10:50 2003)
提到：

理论上说,hard margin是不具有分类的容错性的(可能不太恰当),
就是某些点并不能被其margin正确分类,所以引入了soft margin(SVM算法都基于此)
,即对于那些不能被margin正确分类的点,引入了误差计量,
来把这些点拉回到其相应的margin里.
但是我们不能放纵这误差计量,于是引入了参数C,表示对这个误差计量的重视程度
C越大,越重视,于是C要使足够大,我们这个分类的判错率就应该足够的低了,
但这样也会overfiting,所以并不是C越大越好
如何选择C是件很困难的事,于是人们引入了sigma,有一组很典型的图是sigma=
0.1,0.2,0.5..时regression的样子,sigma=0.1左右的效果是很不错的.

人们都说sigma比C好用,但是我用惯了C了,所以很少用sigma,但是其实他们都是一回事
SVMTrain,如果用的是C,会给你返回相应的sigma,反之亦然.

【 在 hillwind (research on mind) 的大作中提到: 】
: 感觉如果sigma越小，或者C越大，由训练数据得到的分界面越不smooth
: 所以经验风险会减小，但是generation的效果可能会因此而打折
: 不知道这样理解对不对
: 【 在 bjxue (南方小孩) 的大作中提到: 】


strawman (独上江楼思渺然) 于Thu Apr 17 21:38:23 2003)
提到：

惭愧的紧，SVM我不是很懂的说。不过我认为，Model selection很困难的时候，
采用ensemble可能是解决问题的一个方法。

我看过一篇文献，是dietterich和一个意大利人写的，内容是关于采用bias-variance
decomposition作为ensemble of SVM的一种分析工具，其中就讨论了这两个参数的选择。
有兴趣的话，可以到dietterich的主页上找来看看。
【 在 bjxue (南方小孩) 的大作中提到: 】
: 
: 看了SVM一段时间，虽然还有很多不明白。
: 但是现在所要做的是
: 
: rbf 中参数的选择。特别是其中的 sigma 和 C
: 
: 我看了几个文献，但是不是很明白
: 
: 大家来讨论一下吧。
: 
: 问题：1）sigma 和 C 的选取和我们的错判率有什么关系？
:       2）我们在要控制错判率是怎么选择 sigma 和 C


txytxy (nils) 于Fri Apr 18 10:08:20 2003)
提到：

回答的好，推一下！
【 在 intel 的大作中提到: 】
: 理论上说,hard margin是不具有分类的容错性的(可能不太恰当),
: 就是某些点并不能被其margin正确分类,所以引入了soft margin(SVM算法都基于此)
: ,即对于那些不能被margin正确分类的点,引入了误差计量,
: 来把这些点拉回到其相应的margin里.
: 但是我们不能放纵这误差计量,于是引入了参数C,表示对这个误差计量的重视程度
: C越大,越重视,于是C要使足够大,我们这个分类的判错率就应该足够的低了,
: 但这样也会overfiting,所以并不是C越大越好
: 如何选择C是件很困难的事,于是人们引入了sigma,有一组很典型的图是sigma=
: 0.1,0.2,0.5..时regression的样子,sigma=0.1左右的效果是很不错的.
: 人们都说sigma比C好用,但是我用惯了C了,所以很少用sigma,但是其实他们都是一回事

: SVMTrain,如果用的是C,会给你返回相应的sigma,反之亦然.
: 【 在 hillwind (research on mind) 的大作中提到: 】