271.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [合集]SVR请教
发信站: 南京大学小百合站 (Mon Jul  8 22:29:39 2002), 站内信件

jingtianxing (jingtianxing) 于Sun Jul  7 18:38:35 2002提到：

在SVR中，训练精度epsilon如何取值，有没有一个粗略的估计方法。


GzLi (笑梨) 于Mon Jul  8 00:20:43 2002提到：

好像没有吧，我还没有看到，
曾经一个实验，默认是0.001，导师认为epsilon大些好比如0.1，因为数据精度低，
但是坐下来发现默认有默认的好处结果的绝对精度高些，
而0.1有它的好处，结果的相对精度高些，
不过相差不大。



jingtianxing (jingtianxing) 于Mon Jul  8 09:21:01 2002提到：

epsilon的取值应该和数据的精度也有关系吧。假如我的数据是在[-0.001，-1]之间，e
psilon该如何取值呢?我做了一下:epsilon=0.001时，训练错误率太高，epsilon=0.1时
，虽然错误率有所降低，但我像这样精度好像太低了。你有什么好的建议吗？谢谢！



GzLi (笑梨) 于Mon Jul  8 10:16:56 2002提到：

epsilon跟数据的精度没有直接的关系，
因为1)在处理的时候会作归一化操作，你有没有做阿；
    2)本来就是一个管道的半径，好像没有赋予什么其它物理意义，跟精度的关系？。
    3)它是对数据的可拟合性很有关系，比如数据就是一条直线上的，你可以取
很小的epsilon，如果数据有一些噪声，你取小的epsilon，使得大部分数据都不在
这个管道内，训练错误率就会高了。
所以epsilon跟精度之间关系不知道，或许是一个问题，但没有人提出过研究成果。
我的建议：你先别管epsilon的大小跟精度关系，你就取不同的epsilon，看哪个epsilon
下你的精度最高就行乐。验证方法可以采用train－test模式，或者hold out模式，
LOO模式。
声明一下：我最近没有在这方面研究，不过我周围的人在做，所以我只能跟你这么说。



jingtianxing (jingtianxing) 于Mon Jul  8 10:46:18 2002提到：

谢谢GzLi,不过我还有一个问题，就是如何对数据进行归一化，有人说进行均值为零偏差
为一的归一化，可是我不知道该如何做，这个问题困扰我很久了，你能指点我一下吗？



GzLi (笑梨) 于Mon Jul  8 11:58:49 2002提到：

比如一个回归问题变量V和目标量Y
A是V的平均值
D是V的方差
V'=(V-A)/D
同样可以对Y操作。
在训练时可以分别得到V和Y的Av、Dv、Ay、Dy，
测试的时候可以对Vt输入要作同样的操作，
注意：对输出Y'要做逆操作得到真实的Y.



jingtianxing (jingtianxing) 于Mon Jul  8 15:13:11 2002提到：

thanks much,I will have a try!


jingtianxing (jingtianxing) 于Mon Jul  8 17:31:12 2002提到：

我试过了，找你的方法结果还行。谢谢！
还有一个问题，还是关于epsilon的取值。你说epsilon好像没有什么特殊的物理意义，
可是我觉得epsilon不是毫无意义的。假如我的损失函数采用epsilon不敏感损失函数，
那么epsilon不就可以看作是误差的界限吗？你说呢？



GzLi (笑梨) 于Mon Jul  8 22:24:31 2002提到：

epsilon是拟合的误差界限，是你对不入正流的数据的一个容忍程度，
跟你数据的精度等没有直接的关系，我的物理意义也是指没有数据的精度方面的意义。