78.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [合集]关于SVM的feature selection
发信站: 南京大学小百合站 (Sat May 10 18:21:12 2003)

bjxue (南方小孩) 于Wed May  7 09:08:40 2003)
提到：

1）SVM中Vapnik在2000年的feature selection  for SVM一文中介绍了一种将feature se
lection 和SVM整合在一起求解的方法。
事实上他在寻找一个sigma属于0,1将xi*sigma这样作了 一个feature selection

他在在求解sigma 时将sigma的定义为R^n上
the to find the optimum value of sigma one can minimize R^2||W^2||
or some othe differentiable criterion by gradient descent

2）在 feature selection using svm 一文中
作者根据w是对每个attribute 作了一个权重然后根据自己的需要挑选attribute
(一般是选择权重比较大的)

问题：
现在是不是有了另外的一些feature selection based on kernel 
那么他们是怎么回事？
望各位大哥出来讲讲  kernel based feature selection ,  kernel based feature ext
raction
 


GzLi (笑梨) 于Wed May  7 09:47:26 2003)
提到：

【 在 bjxue (南方小孩) 的大作中提到: 】
: 
: 1）SVM中Vapnik在2000年的feature selection  for SVM一文中介绍了一种将feature se
: lection 和SVM整合在一起求解的方法。
: 事实上他在寻找一个sigma属于0,1将xi*sigma这样作了 一个feature selection
: 
: 他在在求解sigma 时将sigma的定义为R^n上
: the to find the optimum value of sigma one can minimize R^2||W^2||
: or some othe differentiable criterion by gradient descent
: 
: 2）在 feature selection using svm 一文中
: 作者根据w是对每个attribute 作了一个权重然后根据自己的需要挑选attribute
: (一般是选择权重比较大的)
: 
: 问题：
: 现在是不是有了另外的一些feature selection based on kernel 
: 那么他们是怎么回事？
: 望各位大哥出来讲讲  kernel based feature selection ,  kernel based feature ext
如果有kernel based FS的话，前面两篇文章可以看做是。
kernel based FE是利用kernel将输入空间映射到特征空间然后在特征空间做
比如PCA等算法，这样就形成了一个kernel PCA解决非线性问题的FE了。
: raction
:  


bjxue (南方小孩) 于Wed May  7 10:06:35 2003)
提到：

KPCA是一个很好的想法，但是我们对与具体问题是
在特征空间中做了PCA后我们就不知道我们的数据是什么意义了
事实上KPCA后得到的数据是经过一个非线性变换然后又是一个线性变换得到的
数据
那么我们回过来问：这样的数据和我们的有现实意义的数据是什么关系？
这样好象我们不能做解答的说；

所以我现在的想法是要通过一个非线性变换（同时做feature selection）
我们能够得到一个很好的分类！~

Gzli  你现在做的好象也是这么一会事，
你在这方面有什么建议吗？

还有各位大哥有什么建议吗？
【 在 GzLi 的大作中提到: 】
: 【 在 bjxue (南方小孩) 的大作中提到: 】
: 如果有kernel based FS的话，前面两篇文章可以看做是。
: kernel based FE是利用kernel将输入空间映射到特征空间然后在特征空间做
: (以下引言省略...)


GzLi (笑梨) 于Wed May  7 10:16:07 2003)
提到：

我做的东西主要还是利用SVM的表达，一者是利用它的分类回归能力
一者是利用它的结构系数，
至于你用用kernel直接跟FS结合做，可以尝试，就我所想象可能是在特征空间FS
然后找到跟原始特征的联系，看原始特征的贡献大小。似乎比较麻烦。
是否可解，尤其是高维特征（原始）下，核又选择的较复杂是个问题。

【 在 bjxue (南方小孩) 的大作中提到: 】
: KPCA是一个很好的想法，但是我们对与具体问题是
: 在特征空间中做了PCA后我们就不知道我们的数据是什么意义了
: 事实上KPCA后得到的数据是经过一个非线性变换然后又是一个线性变换得到的
: 数据
: 那么我们回过来问：这样的数据和我们的有现实意义的数据是什么关系？
: 这样好象我们不能做解答的说；
: 
: 所以我现在的想法是要通过一个非线性变换（同时做feature selection）
: 我们能够得到一个很好的分类！~
: 
: Gzli  你现在做的好象也是这么一会事，
: 你在这方面有什么建议吗？
: 
: 还有各位大哥有什么建议吗？
: 【 在 GzLi 的大作中提到: 】


bjxue (南方小孩) 于Wed May  7 10:28:11 2003)
提到：

的确是有点复杂
    但是好象可以解 
   我昨天和一个做生物信息的教授谈了一下，他也正想在这方面做。

好了谢谢Gzli 我有很多想法没有形成
过两天我在来说我的问题和想法
我现在基本定位为

step 1:kernel based method

step 2: choosing a performance ,I think I'll use SRM  or R^2||w^2|| or soft ma
rgin

step 3: feature selection  

and then my master paper is finished

bless me
【 在 GzLi 的大作中提到: 】
: 我做的东西主要还是利用SVM的表达，一者是利用它的分类回归能力
: 一者是利用它的结构系数，
: 至于你用用kernel直接跟FS结合做，可以尝试，就我所想象可能是在特征空间FS
: 然后找到跟原始特征的联系，看原始特征的贡献大小。似乎比较麻烦。
: 是否可解，尤其是高维特征（原始）下，核又选择的较复杂是个问题。
: 【 在 bjxue (南方小孩) 的大作中提到: 】


GzLi (笑梨) 于Wed May  7 10:56:09 2003)
提到：

Best wishes to you!

【 在 bjxue (南方小孩) 的大作中提到: 】
: 的确是有点复杂
:     但是好象可以解 
:    我昨天和一个做生物信息的教授谈了一下，他也正想在这方面做。
: 
: 好了谢谢Gzli 我有很多想法没有形成
: 过两天我在来说我的问题和想法
: 我现在基本定位为
: 
: 
: step 1:kernel based method
: 
: step 2: choosing a performance ,I think I'll use SRM  or R^2||w^2|| or soft ma
: rgin
: 
: step 3: feature selection  
: 
: and then my master paper is finished
: 
: bless me
: 【 在 GzLi 的大作中提到: 】
: (以下引言省略 ... ...)