76.txt

This complete matlab for neural network

发信人: strawman (独上江楼思渺然), 信区: DataMining
标  题: [合集]a questiong on SVM and  multi-class 
发信站: 南京大学小百合站 (Sat Apr 26 09:03:30 2003)

fruedstone (逍遥云) 于Thu Apr 24 20:22:09 2003)
提到：

在看Vapnik的书SLT时候，pp.438中提到的分解方法处理多类问题
（就是one-against-rest or one-per-class）
f_i为K个SVM的输出
最后的决策函数为（MAX Wins 规则）
m=argmax{f_1(x_i),...,f_n(x_i)}        (1)

这里我有下面两个问题
1、f_i(x)/||w_i|| 才是特征空间中x到分类超平面的（有向）距离,K个不同的SVM可能是
不同的，为何直接比较f_i(x)，有什么直观的解释吗？
2、另外，如果用(1)式，那么K个SVM就必须使用相同的核及其参数，这个要求是不是太强
了？


bjxue (南方小孩) 于Fri Apr 25 08:42:34 2003)
提到：

请问你有Vapnik的那本书吗？你是什么地方的可以借我复印一下吗？


fruedstone (逍遥云) 于Fri Apr 25 09:46:06 2003)
提到：

我有的，不过我不是南京的
我在杭州，清华和国图应该也有的，我就是同学给我复印的
上海图书馆，也有一些相关的书，就是复印太贵了。还是在清华复印便宜。


fruedstone (逍遥云) 于Fri Apr 25 09:51:06 2003)
提到：

我更正一下其中的表示。
怎么没有人回答
我可是慕名而来的
哪位谈谈？？
在线等

                          ~~此处应用K。
                                                              ～～～～～～～～
～
～～～～指定的是K个不同的||w_i||


txytxy (nils) 于Fri Apr 25 10:09:42 2003)
提到：

1。如果fi是得分函数，显然应该比较它的输出来决定类别，除以权向量得到的是距离，但
这个并不重要，重要的是“距离的差”。
2。“如果用(1)式，那么K个SVM就必须使用相同的核及其参数”，这不一定吧，核只是用
来求fi的参数，不管用那种核，判别函数的形式总是线性的。



fpzh (fpzh) 于Fri Apr 25 10:33:16 2003)
提到：

我曾经用LibSVM对f/|w|判别规则做过试验，结果还不如直接用f好（数据集用的是UCI中
的一个手写数字式别数据集，SVM的参数是缺省的）。

LibSVM用的是One against One，个人感觉，如果用One against All的话，可能效果会
好一点。

可能是这样，如果用One against One和f/|w|，可能会过于复杂，不符合Occam剃刀原理
吧，直接统计win就比较简单；如果用One against One和f/|w|，可能会有这种情况，比
方对数字5的某个样本分类。5和其他数字构造9个分类器，每个分类器里5的f/|w|一般都
是最大的，最大距离比如是0.1；但是可能7和某个数字（比如9）构造的分类器，它的最
大距离可能是0.8。所以用很精确的绝对距离，不一定有好的推广能力。



fruedstone (逍遥云) 于Fri Apr 25 10:33:49 2003)
提到：

我指的是针对书上的内容说的
如果使用的得分函数，那是很自然的
for SVM
f_i(x)=x*w_k+b_k

2。它是在不同维数的空间中是线性的

选择不同的核及核函数表示不同的特征空间
在不同的空间中的比较距离我觉的是有问题的
举例，假设有两个点x1,x2
那么在特征空间K1中距离为d1通常不会等于在特征空间K2中的距离d2



fpzh (fpzh) 于Fri Apr 25 10:56:08 2003)
提到：

用f/|w|还是有一定道理的，对于One against All，比方手写数字识别，构造了10个分
类器，对于一个测试样本，一般来说，它离哪个超平面越近，越不可能属于那个类，而
距离是f/|w|，不同超平面的|w|是不一样的。不知理解的对否？