471.txt

This complete matlab for neural network

发信人: strawman (独上江楼思渺然), 信区: DataMining
标  题: Re: 做过boosting的高手请进
发信站: 南京大学小百合站 (Thu Oct 24 17:34:18 2002), 站内信件

adaboost算法有不同的版本，我知道的就有用于分类的和用于回归估计的。算法的思想都
是一样的，但是具体操作起来还是有些问题需要注意。
譬如说，训练错误率，有可能错误率大于0.5的，这样的component要抛弃，还有可能错误
率等于0的，这样的component的权趋于无穷大。还有，就是随着训练轮数的增加，有些例
子的权值变得很大，这些例子就是那些难学习的例子；有些例子权值变得很小，这些例子
容易学习。这样在正规化的时候，就有可能造成浮点数溢出。
这些都是应该在程序中考虑到的。
【 在 strawman (独上江楼思渺然) 的大作中提到: 】
: 如果错误率大于1/2你怎么办？好像算法中没有考虑吧。
: 【 在 jeff814 (mimi) 的大作中提到: 】
: : 几个问题（在//后面）
: : AdaBoosting算法如下：
: : n输入:(X1,Y1), (X2,Y2),…(Xn,Yn) 
: :               Xi∈X, Yi∈Y={+1,-1} 
: :     初始化:D1(i)=1/n   
: : nFor t=1,…,T 
: : n在Dt下训练,   //(指该轮的训练集的得到，是按每个样本的权重从最初给定的集合..
: : 概率抽取，对吧？)
: : n得到弱的假设ht: X->{-1,+1}, 
: :    错误率:Εt=ΣDt(i)  [ht(Xi)≠Yi]   //是按第一轮的训练集合来算的呢，还是..
: : 轮的集合来算的？
: : n选择αt=1/2 ln ( (1- Εt)/ Εt ), 
: : n更改权值: 
: :      if ht(Xi)≠Yi , Dt+1(i)=Dt(i)* e αt /Zt 
: :         if ht(Xi)=Yi  , Dt+1(i)=Dt(i)* e -αt /Zt 
: : n输出:H(X)=sign( ∑ αtht(X) )    )   //最终的假设是多轮独立假设的加权。这..
: : (以下引言省略 ... ...)


--
白云在天，丘陵自出。
道里悠远，山川间之。
将子无死，尚复能来。
        

※ 来源:．南京大学小百合站 bbs.nju.edu.cn．[FROM: 202.119.36.111]