98.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [合集]关于adaboost和特征筛选
发信站: 南京大学小百合站 (Fri Jul 18 00:33:52 2003)

stonewang (一个海盗) 于Tue Jun 10 17:55:47 2003)
提到：

有文章中提到adaboost可以用来进行特征筛选，
我把算法看了几遍也没看出该怎么做。哪位大侠指点一下，万分感谢！


strawman (独上江楼思渺然) 于Wed Jun 11 09:20:05 2003)
提到：

好像有很多种作法的吧。
在Viola的工作中，是将对每个特征做一个分类器，在adaboost算法的每一轮中
选择出一个性能最好的分类器,这样在T轮以后就选择出了T个分类器。
还有其他的方法，你可以查查相关文献。
【 在 stonewang (一个海盗) 的大作中提到: 】
: 有文章中提到adaboost可以用来进行特征筛选，
: 我把算法看了几遍也没看出该怎么做。哪位大侠指点一下，万分感谢！


stonewang (一个海盗) 于Wed Jun 11 10:34:24 2003)
提到：

可是最优的T个特征是否就能保证它是最优的特征组呢？
【 在 strawman (独上江楼思渺然) 的大作中提到: 】
: 好像有很多种作法的吧。
: 在Viola的工作中，是将对每个特征做一个分类器，在adaboost算法的每一轮中
: 选择出一个性能最好的分类器,这样在T轮以后就选择出了T个分类器。
: 还有其他的方法，你可以查查相关文献。
: 【 在 stonewang (一个海盗) 的大作中提到: 】


bjxue (数字找矿) 于Wed Jun 11 11:00:38 2003)
提到：

我认为adaboost不是选取出T个特征，而是在每一轮中
做出一个分类器
这样我们得到了T个分类器
然后用一个权重把这么多分类器集合起来做一个
新的分类器
用这样的新的分类器要比单个的分类器的performance上面要好
而且我看的一个文章好象说这样的分类器不是过度拟合的（表示怀疑）
我昨天刚刚写了一个非常短的东西
给大家看看
有错的地方大家提意见
http://bbs1.nju.edu.cn/file/A_Brief_Introduction_to_Boosti
【 在 stonewang 的大作中提到: 】
: 有文章中提到adaboost可以用来进行特征筛选，
: 我把算法看了几遍也没看出该怎么做。哪位大侠指点一下，万分感谢！


cczhu (congcongzhu) 于Wed Jun 11 11:06:13 2003)
提到：

【 在 bjxue 的大作中提到: 】
: 而且我看的一个文章好象说这样的分类器不是过度拟合的（表示怀疑）
这个好像还没被证明，只是从实验得出来的结论吧。

: 我昨天刚刚写了一个非常短的东西
: 给大家看看
在哪里呢？


bjxue (数字找矿) 于Wed Jun 11 11:14:13 2003)
提到：

【 在 cczhu 的大作中提到: 】
: 
: 【 在 bjxue 的大作中提到: 】
: 这个好像还没被证明，只是从实验得出来的结论吧。
(是的，是没有证明。但是他用那么多分类器，再加上权重？？？感觉上去不是那么舒服)

: 
: 在哪里呢？
（在上载区。写的不好，见笑了）


yinxucheng (yxc) 于Wed Jun 11 11:27:38 2003)
提到：

    关于AdaBoost运用于特征选择，CMU的研究者提出了"FeatureBoost"算法，就是利用A
daBoost的原理专门进行特征选择的；他们的实验好像是针对机器人视觉的。

相关信息：
（1）论文题目： 
FeatureBoost: A Meta-Learning Algorithm that Improves Model Robustness
（2）下载网址：
www.cs.cmu.edu/~jcl/papers/robust/ml2krobust.pdf

【 在 stonewang 的大作中提到: 】
: 有文章中提到adaboost可以用来进行特征筛选，
: 我把算法看了几遍也没看出该怎么做。哪位大侠指点一下，万分感谢！


daniel (飞翔鸟) 于Wed Jun 11 12:51:52 2003)
提到：

【 在 cczhu (congcongzhu) 的大作中提到: 】
: 
: 【 在 bjxue 的大作中提到: 】
: 这个好像还没被证明，只是从实验得出来的结论吧。

看FHT的additive logistic regression

: 
: 在哪里呢？


daniel (飞翔鸟) 于Wed Jun 11 12:59:33 2003)
提到：

  个人认为，FeatureBoost不是太好用的东西。O'Sullivan自己其实也承认这一点。
这篇文章一开始是被NIPS拒了的，大改了之后才上的ICML。其实它最主要的贡献并
不是这个什么FeatureBoost算法，而是对人利用额外属性的能力的探讨。而且这玩
意和特征选择几乎没什么关系。用Boosting做特征选择，最主要的结果其实就是
Viola和Jones的东西。

【 在 yinxucheng (yxc) 的大作中提到: 】
: 
:     关于AdaBoost运用于特征选择，CMU的研究者提出了"FeatureBoost"算法，就是利用A
: daBoost的原理专门进行特征选择的；他们的实验好像是针对机器人视觉的。
: 
: 相关信息：
: （1）论文题目： 
: FeatureBoost: A Meta-Learning Algorithm that Improves Model Robustness
: （2）下载网址：
: www.cs.cmu.edu/~jcl/papers/robust/ml2krobust.pdf
: 
: 
: 【 在 stonewang 的大作中提到: 】


daniel (飞翔鸟) 于Wed Jun 11 13:00:51 2003)
提到：

【 在 stonewang (一个海盗) 的大作中提到: 】
: 可是最优的T个特征是否就能保证它是最优的特征组呢？

不能保证。没法保证。

: 【 在 strawman (独上江楼思渺然) 的大作中提到: 】


stonewang (一个海盗) 于Wed Jun 11 16:28:26 2003)
提到：

那用遗传算法怎么样？就算选不出最优的也能选出次优的，但效率如何？试过吗？
【 在 daniel (飞翔鸟) 的大作中提到: 】
: 【 在 stonewang (一个海盗) 的大作中提到: 】
: 不能保证。没法保证。