62.txt

This complete matlab for neural network

发信人: strawman (独上江楼思渺然), 信区: DataMining
标  题: [合集]VC维，到底怎么理解
发信站: 南京大学小百合站 (Sun Apr 13 11:46:15 2003)

bjxue (南方小孩) 于Fri Apr 11 09:49:34 2003)
提到：

在看《统计学习理论的本质》时，一直在想VC维是怎么回事，

他说什么打散的最大的h

那么打散是怎么理解的呢？


tau (Andy) 于Fri Apr 11 09:56:26 2003)
提到：

我个人理解：
跟插值中的龙格库塔现象有点像
VC维越大约容易出现这种现象
即在训练点处满足但是其他点处不满足



ihappy (如是我闻) 于Fri Apr 11 10:08:14 2003)
提到：

比如我们研究的对象是二维空间中的点,假设空间(hypothesis space)是所有二维空间的
直线.

那么当三个点可以组成一个三角形时(即,不在一直线上),无论怎么给这三个点分类,都可以
找到一条直线,使得这三个点被其正确分类.(三个点一共可以有8种情况)

但是不存在四个点,其任何分类组合都可以通过直线实现.

所以说,在二维空间里,3个点是可以被shatter的,而4个点不可以.

所以直线(二维空间的线性分类器)的vc维是3.



bjxue (南方小孩) 于Fri Apr 11 11:10:40 2003)
提到：

是不是说在平面上可以被直线打散的点的个数？3就是VC维（假设空间维二维空间的直线）



strawman (独上江楼思渺然) 于Fri Apr 11 11:22:02 2003)
提到：

                                       是最大个数吧。


minus (qq) 于Fri Apr 11 11:23:53 2003)
提到：

是说能够被完全分开的最大个数吧

不过很多空间的VC维计算&估计还是不大明白的，哪位给解释一下



bjxue (南方小孩) 于Fri Apr 11 12:05:49 2003)
提到：

是的，是最大的个数！～
那位能够更加清楚的解释一下
VC维的sin(x)的情况呢？


minus (qq) 于Fri Apr 11 12:25:05 2003)
提到：

这个好像是说无论多少个点，只要选择合适的参数，正弦函数都能够将其
完全分开，所以说该函数空间的VC维为无穷大



strawman (独上江楼思渺然) 于Fri Apr 11 14:57:46 2003)
提到：

啊？你没问清楚啊。
sin(x)只是一个函数啊，一个hypothesis。VC维是针对hypothesis space来说的吧。



fpzh (fpzh) 于Fri Apr 11 15:27:54 2003)
提到：

是不是这样的：

假设有一组实数样本{x,y}，y取值在[0,1]之间，那么不论样本是依据什么模型产生的，
只要用函数f(x,a)=sin(ax)去拟和它们（a是待定参数），总能够找到一个a是训练误差
为0。（张学工，关于统计学习理论于支持向量机，自动化学报，2000年第一期）

我也一直搞不清这是为什么？

我的理解是，对于{xi,yi}，存在一个a，使得sin(a*xi)=yi，那这样a*xi=arcsin(yi)+
ki*PI，这样的a能找到吗



nope (etadpu) 于Fri Apr 11 15:30:50 2003)
提到：

是分2类ba



bjxue (南方小孩) 于Fri Apr 11 17:46:03 2003)
提到：

那么在统计学习理论中哪个hypothesis space又是怎么回事呢？



minus (qq) 于Fri Apr 11 17:47:00 2003)
提到：

是不是就是学习的函数空间啊？



bjxue (南方小孩) 于Fri Apr 11 17:49:05 2003)
提到：

我也认为是，可是我还不能很明白的理解



GzLi (笑梨) 于Sat Apr 12 11:40:40 2003)
提到：

sin(ax) 是一个假设空间，他的vc维是无穷大的，因为它可以把任意的点分开，
大家可以试试，如果能把任意点分开，那么训练误差就是零喽。