31.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [合集]关于SVM的书籍论文和方向(2)
发信站: 南京大学小百合站 (Fri Jul 18 00:25:02 2003)

GzLi (笑梨) 于Fri Jun 27 00:24:07 2003)
提到：

< ---- phd candidate -- >
国内研究大概是从清华开始的吧，
去年有幸看到张学工老师的学生的一本论文，
是研究核方法的，将核可以把线性方法转化为非线性方法的技巧做了些工作。
记得一个主要的成果是作了一个最小二乘核方法，
当然还研究了几种其它的核方法。
后来我师兄毕业，主要研究推广能力，
不过理论上不算深入，主要是把这个概念应用到了其它方法上，比如
遗传算法等。我师兄的论文可以从ftp 上下载。其它的文章我手里也没有，
请不要问我要。
今年浙江大学有个博士生毕业，其论文
主要是研究svm的各种变形算法，比如one class svm，
他为其加入了一个正则项，然后还为不平衡样本的改进了一个算法，
不过论文的实验非常不充分。只有一个数据集，只作了一个测试。
我不知道其改进的确切结果怎么样。这篇论文是否通过我都不晓的，
不过他论文总结了一下SVM算法的变形，到是可以看看。
其它交大好像还有做应用的，比如自动化系刚毕业的一个用于控制。

国外的研究跟几个博士生很有关系，
比如 raecsch，boleosting了margin 分类器。结果跟SVM相媲美。
还有jochims，的文本分类的应用。主要是做了SVM的实现，在large scale
data sets 上取得了较好的效果。软件是SVMlight。
还有一个mit的学生，主要是研究了svm的推广能力，主要理论上的成果，
正则化网络和SVM的关系主要是他研究的，引用率很高。
Bernhard Scholkopf的工作也很引人注目，他编了一本书，
极大促进了SVM的发展，而且kernel的技巧，大概是他先提出的。

其它大概还有吧，我就不太知道了，请高手出手。

jueww (不朽钢) 于Fri Jun 27 08:46:59 2003)
提到：

刚看了一点相关文章.

我比较关心gaussian process和svm的关系. 原来搞NN和BAYESIAN网络的一帮人, mackey等
, 有些文章比较有意思. 用gaussian process理解SVM的优点我觉得是具有概率意义, 但总
得来说失去支持向量的稀疏性, 有点得不偿失. 另外计算量也是大问题.

有个relevant vector machine, 听说在回归问题上很有特点, 但它已经不是margin clas
sifier了. 是否是MARGIN分类器好还是基于概率的分类器好, 我想肯定要看具体应用.

我看到很多KERNEL设计方面的文章, 但我怀疑这种脱离具体应用问题的纯数学的KERNEL设
计到底有没有重要用处, 在我的应用问题(文本分类)上数学上的不同KERNEL的差异显得很
TRIVIAL. 可能在其它问题上, 比如计算机视觉等, 这个很重要. 不过我相信世界上的东西
总是简单的为主, 一般都是线性的/对称的/平滑的, 除非迫不得已, 总是采用线性或其变
体(比如RBF核)来逼近比较好, 如果要靠数学上的核来强制修正, 那还不如检查检查自己对
应用的前端特征抽取是否充分了.

另外我怀疑KERNEL能够将低维空间非线性映射到高维空间的解释方法是否符合实际, 如果
真是这样, 那么为什么RBF核总是比多项式核好呢? 我想可能是因为这种映射有很强的附加
约束条件.

下面提到有人做不平衡样本的处理, 而我觉得SVM是MARGIN方法, 样本的不平衡性应该没有
太大影响吧?

【 在 GzLi 的大作中提到: 】
: < ---- phd candidate -- >
: 国内研究大概是从清华开始的吧，
: 去年有幸看到张学工老师的学生的一本论文，
: 是研究核方法的，将核可以把线性方法转化为非线性方法的技巧做了些工作。
: 记得一个主要的成果是作了一个最小二乘核方法，
: 当然还研究了几种其它的核方法。
: 后来我师兄毕业，主要研究推广能力，
: 不过理论上不算深入，主要是把这个概念应用到了其它方法上，比如
: 遗传算法等。我师兄的论文可以从ftp 上下载。其它的文章我手里也没有，
: 请不要问我要。
: 今年浙江大学有个博士生毕业，其论文
: 主要是研究svm的各种变形算法，比如one class svm，
: 他为其加入了一个正则项，然后还为不平衡样本的改进了一个算法，
: 不过论文的实验非常不充分。只有一个数据集，只作了一个测试。
: 我不知道其改进的确切结果怎么样。这篇论文是否通过我都不晓的，
: 不过他论文总结了一下SVM算法的变形，到是可以看看。
: 其它交大好像还有做应用的，比如自动化系刚毕业的一个用于控制。
: 国外的研究跟几个博士生很有关系，
: 比如 rastch，boleosting了margin 分类器。结果跟SVM相媲美。
: 还有jochims，的文本分类的应用。主要是做了SVM的实现，在large scale
: (以下引言省略...)


GzLi (笑梨) 于Fri Jun 27 15:10:38 2003)
提到：

kernel的设计是有用的，但是
一是当没有发挥到极致，也就是没有针对每一个问题设计一个核，可能优越性不突出，
或者问题太复杂了，怎么可能做到呢，而且问题本身往往是不了解的，
所以只能试试拉。
关于RBF核比poly核好的看法，我的经验刚好相反。
关于不平衡样本，需要一个不同的C，这样超平面偏向到多样本一方，
可以留给样本少的多一些空间。

【 在 jueww (不朽钢) 的大作中提到: 】
: 刚看了一点相关文章.
: 
: 
: (以下引言省略 ... ...)


jueww (不朽钢) 于Fri Jun 27 18:26:56 2003)
提到：

不知你是什么应用啊?
我是文本分类. 对不同比例的样本, 使用不平衡C, 影响几乎没有. 呵呵.
可能我的问题太简单了.

【 在 GzLi 的大作中提到: 】
: kernel的设计是有用的，但是
: 一是当没有发挥到极致，也就是没有针对每一个问题设计一个核，可能优越性不突出..
: 或者问题太复杂了，怎么可能做到呢，而且问题本身往往是不了解的，
: 所以只能试试拉。
: 关于RBF核比poly核好的看法，我的经验刚好相反。
: 关于不平衡样本，需要一个不同的C，这样超平面偏向到多样本一方，
: 可以留给样本少的多一些空间。
: 【 在 jueww (不朽钢) 的大作中提到: 】


GzLi (笑梨) 于Fri Jun 27 18:46:21 2003)
提到：

【 在 jueww (不朽钢) 的大作中提到: 】
: 不知你是什么应用啊?
: 我是文本分类. 对不同比例的样本, 使用不平衡C, 影响几乎没有. 呵呵.
: 可能我的问题太简单了.
这个问题，我没有研究过，只是说一下原理吧，
不过那篇论文上是有很好效果的。
嘿嘿，具体我就不知道了。

: 
: 【 在 GzLi 的大作中提到: 】


jueww (不朽钢) 于Fri Jun 27 18:54:19 2003)
提到：

你是说Joachiasm的结论? 我不相信文章中的吹嘘, 我只相信自己的实验. 呵呵.
特别在文本分类上, 太多的文章说了太多的假话, 所以有Yang最后搞的几篇比较研究.
不过我的语料库不是reuter21598, 是我自己建的东东.

【 在 GzLi 的大作中提到: 】
: 【 在 jueww (不朽钢) 的大作中提到: 】
: 这个问题，我没有研究过，只是说一下原理吧，
: 不过那篇论文上是有很好效果的。
: 嘿嘿，具体我就不知道了。


mnls (蒙娜丽莎的微笑) 于Sat Jun 28 00:10:49 2003)
提到：

偶也用svm做文本分类的实验，我的经验是poly比rbf要好。偶建议你在reuters21578上
跑一下，跟joachims的结果比较，我的结论跟joachims也不一致。不同数据集上的结论
不同也是很正常的。

【 在 jueww (不朽钢) 的大作中提到: 】
: 你是说Joachiasm的结论? 我不相信文章中的吹嘘, 我只相信自己的实验. 呵呵.
: 特别在文本分类上, 太多的文章说了太多的假话, 所以有Yang最后搞的几篇比较研究.
: 不过我的语料库不是reuter21598, 是我自己建的东东.
: 
: 【 在 GzLi 的大作中提到: 】


jueww (不朽钢) 于Sat Jun 28 10:44:40 2003)
提到：

有个问题请假同行. 就是如何做特征的归一化, 是用特征选择之前的所有单词做归一化, 
还是用特征选择之后的单词做归一化?

另外有没有人做过词组作为特征, 以及stemming, morphological normalization的影响?

如果对付单词间的相关性?

【 在 mnls 的大作中提到: 】
: 偶也用svm做文本分类的实验，我的经验是poly比rbf要好。偶建议你在reuters21578..
: 跑一下，跟joachims的结果比较，我的结论跟joachims也不一致。不同数据集上的结..
: 不同也是很正常的。
: 【 在 jueww (不朽钢) 的大作中提到: 】


jueww (不朽钢) 于Sun Jun 29 13:49:28 2003)
提到：

刚看了张铃老师在复旦研讨班上的幻灯片, 发现他的强调之处和我的经验一致, 
即核变换会将在原空间中容易区分的点在特征空间中拉近, 导致分类器泛化能力下降.
同时还造成结果违反人们的直觉. 比如我发现SVM的出错很难理解, 而NB的出错非常容易看
到问题处在何处.

张铃老师提出是否可以设计构造性的局部化的泛化算法, 但我觉得这是个大家都看到的比
较彻底解决问题的途径, 但是不是也属于"看上去很美"一类? 呵呵.

【 在 mnls 的大作中提到: 】
: 偶也用svm做文本分类的实验，我的经验是poly比rbf要好。偶建议你在reuters21578..
: 跑一下，跟joachims的结果比较，我的结论跟joachims也不一致。不同数据集上的结..
: 不同也是很正常的。
: 【 在 jueww (不朽钢) 的大作中提到: 】


mnls (蒙娜丽莎的微笑) 于Sun Jun 29 17:51:55 2003)
提到：

【 在 jueww (不朽钢) 的大作中提到: 】
: 有个问题请假同行. 就是如何做特征的归一化, 是用特征选择之前的所有单词做归一化, 
: 还是用特征选择之后的单词做归一化?
特征选择后
: 
: 另外有没有人做过词组作为特征, 以及stemming, morphological normalization的影响?
英文语料库上有人做过比较，中文的文章没怎么看见过
: 
: 如果对付单词间的相关性?

: 
: 【 在 mnls 的大作中提到: 】


daniel (飞翔鸟) 于Sun Jun 29 22:38:04 2003)
提到：

【 在 jueww (不朽钢) 的大作中提到: 】
: 刚看了张铃老师在复旦研讨班上的幻灯片, 发现他的强调之处和我的经验一致, 
: 即核变换会将在原空间中容易区分的点在特征空间中拉近, 导致分类器泛化能力下降.
: 同时还造成结果违反人们的直觉. 比如我发现SVM的出错很难理解, 而NB的出错非常容..
: 到问题处在何处.
: 
: 张铃老师提出是否可以设计构造性的局部化的泛化算法, 但我觉得这是个大家都看到的比
: 较彻底解决问题的途径, 但是不是也属于"看上去很美"一类? 呵呵.

没有任何途径是可以“彻底”解决问题的，除非P=NP，所有的途径都不过
是在把难点搬家，搬好了就可以解决一批问题，但新问题肯定会随之而生。

: 
: 【 在 mnls 的大作中提到: 】