46.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [合集][转载] Re: 过学习？(转寄)
发信站: 南京大学小百合站 (Tue Jan  7 11:05:40 2003)

GzLi (笑梨) 于Fri Jan  3 23:15:55 2003)
提到：

【 以下文字转载自 GzLi 的信箱 】
【 原文由 <[e-mail]> 所发表 】

来  源: 211.68.16.32

发信人: taopin (rover), 信区: AI       
标  题: Re: 过学习？
发信站: BBS 水木清华站 (Fri Jan  3 21:26:08 2003), 转信

  举个例子形象说明一下 过学习 吧。（不一定恰当，但希望你能感知其中的意思）

  有一个待拟合的函数 f(x) = 0 (x是所有自然数)

  现在一共提供了 10 个样本点，由于存在噪音（测量误差），样本点取值如下：
  f(1) = f(3) = f(5) = f(7) = f(9) = -1
  f(2) = f(4) = f(6) = f(8) = f(10) = 1

  如果 学习机器 马马乎乎 的去学习，求个平均值，就正好“撞”上了 f(x) 的理论
表达式，即 f(x) = 0

  但如果 学习机器 偏偏要追求完美，为了更准确的匹配这 10 个学习样本点，就
会搞出一种 会周期性上下 波动的函数，这样反而过由不及。这就是 过学习。

  当然这里举的是一个非常简单的例子，实际学习当中，如果学习机器 太马虎 了，
也不行，就会造成 欠学习。

【 在 zpustc (Simply Best) 的大作中提到: 】
: 欠学习很好理解,样本数目不够,导致学习效果不好.
: 过学习就不好理解了,难道不是样本越多,可以获取的
: 信息量越大,学习到的知识的准确率越高吗?
: 有人遇到过学习的情况吗?  


GzLi (笑梨) 于Fri Jan  3 23:30:28 2003)
提到：

这个例子比较生动的说明了，overfitting（过拟合、过学习）的现象。
作机器学习的同志值得一看。就转寄过来了。
overfitting这个问题在学习问题中很普遍，而且也是一个老问题，
咱们正在学习的VC维和其它文献中进一步论述的fat-shattering dimension
更是描述学习算法性能的，如果学习算法的能力远远大于数据内在的复杂
度，就容易产生overfitting。比如刚才这个例子中，如果用一个sinx函数拟合
就是过拟合，而用一个直线就是正确的。

【 在 GzLi (笑梨) 的大作中提到: 】
: (以下引言省略 ... ...)


ihappy (drunken new year) 于Fri Jan  3 23:55:03 2003)
提到：

to be frank, this example is not very good.

什么叫做马马虎虎的学习，求个平均值？就这一句话，会让对机器学习不熟悉的人产生
误解。认为machine learning is not a principled science, without some ground
theory, but only some conjectures, coincidence, ...

见过的比较好的例子例如：一个可以用二次多项式拟合的点集（有误差），如果要做到
在训练集上完全拟合，用高次多项式来做，从而使结果多项式过度复杂，产生
overfitting

【 在 GzLi (笑梨) 的大作中提到: 】
: 【 以下文字转载自 GzLi 的信箱 】
: 【 原文由 <[e-mail]> 所发表 】
: 来  源: 211.68.16.32
: 发信人: taopin (rover), 信区: AI       
: 标  题: Re: 过学习？
: 发信站: BBS 水木清华站 (Fri Jan  3 21:26:08 2003), 转信
: 
:   举个例子形象说明一下 过学习 吧。（不一定恰当，但希望你能感知其中的意思）
: 
:   有一个待拟合的函数 f(x) = 0 (x是所有自然数)
: 
:   现在一共提供了 10 个样本点，由于存在噪音（测量误差），样本点取值如下：
:   f(1) = f(3) = f(5) = f(7) = f(9) = -1
:   f(2) = f(4) = f(6) = f(8) = f(10) = 1
: 
:   如果 学习机器 马马乎乎 的去学习，求个平均值，就正好“撞”上了 f(x) 的理论
: 表达式，即 f(x) = 0
: 
:   但如果 学习机器 偏偏要追求完美，为了更准确的匹配这 10 个学习样本点，就
: 会搞出一种 会周期性上下 波动的函数，这样反而过由不及。这就是 过学习。
: (以下引言省略 ... ...)


ihappy (drunken new year) 于Sat Jan  4 04:23:01 2003)
提到：

and, Burges (many SVM posts in this board, so, assuming Burges is familiar to
ppl here) has an interesting but accurate example.

Excerpts from 'A tutorial on Support Vector Machines for Pattern Recognition',
Data mining and Knowledge Discovery 2, 121-167, 1998. (An excellent tutorial 
for SVMs)

Roughly speaking, for a given learning task, with a given finite amount of 
training data, the best generalization performance will be achieved if the 
right balance is struck between the accuracy attained on that particular 
training set, and the 'capacity' of the machine, that is, the ability of the
machine to learn any training set without error.

A machine with too much capacity is like a botanist with a phtographic memory 
who, when presented with a new tree, concludes that is is not a tree because
it has a different number of leaves from anything she has seen before; a 
machine with too little capacity is like the botanist's lazy brother who 
declares that if it's green, it's a tree.

Excerpts ended. 

So, the botanist herself is overfitting everything, while his brother is rather
under-fitting.

【 在 ihappy (drunken new year) 的大作中提到: 】
: to be frank, this example is not very good.
: 什么叫做马马虎虎的学习，求个平均值？就这一句话，会让对机器学习不熟悉的人产生
: 误解。认为machine learning is not a principled science, without some ground
: theory, but only some conjectures, coincidence, ...
: 见过的比较好的例子例如：一个可以用二次多项式拟合的点集（有误差），如果要做到
: 在训练集上完全拟合，用高次多项式来做，从而使结果多项式过度复杂，产生
: overfitting
: 【 在 GzLi (笑梨) 的大作中提到: 】
: (以下引言省略 ... ...)


ihappy (drunken new year) 于Sat Jan  4 04:44:56 2003)
提到：

and, that tutorial may not be the best one, but as far as i know, it's the 
best written one. strongly recommended, especially for those without a 
background.

【 在 ihappy (drunken new year) 的大作中提到: 】
: and, Burges (many SVM posts in this board, so, assuming Burges is familiar to
: ppl here) has an interesting but accurate example.
: Excerpts from 'A tutorial on Support Vector Machines for Pattern Recognition',
: Data mining and Knowledge Discovery 2, 121-167, 1998. (An excellent tutorial 
: for SVMs)
: Roughly speaking, for a given learning task, with a given finite amount of 
: training data, the best generalization performance will be achieved if the 
: right balance is struck between the accuracy attained on that particular 
: training set, and the 'capacity' of the machine, that is, the ability of the
: machine to learn any training set without error.
: A machine with too much capacity is like a botanist with a phtographic memory 
: who, when presented with a new tree, concludes that is is not a tree because
: it has a different number of leaves from anything she has seen before; a 
: machine with too little capacity is like the botanist's lazy brother who 
: declares that if it's green, it's a tree.
: Excerpts ended. 
: So, the botanist herself is overfitting everything, while his brother is ra..
: under-fitting.
: 【 在 ihappy (drunken new year) 的大作中提到: 】
: (以下引言省略 ... ...)


helloboy (hello) 于Sat Jan  4 08:28:34 2003)
提到：

过学习就是钻牛角尖，不从事物的一般性出发思考问题，而是在考虑非常
特殊的情况，研究出来也不通用。
【 在 GzLi (笑梨) 的大作中提到: 】
: 【 以下文字转载自 GzLi 的信箱 】
: 【 原文由 <[e-mail]> 所发表 】
: 来  源: 211.68.16.32
: 发信人: taopin (rover), 信区: AI       
: 标  题: Re: 过学习？
: 发信站: BBS 水木清华站 (Fri Jan  3 21:26:08 2003), 转信
: 
:   举个例子形象说明一下 过学习 吧。（不一定恰当，但希望你能感知其中的意思）
: 
:   有一个待拟合的函数 f(x) = 0 (x是所有自然数)
: 
:   现在一共提供了 10 个样本点，由于存在噪音（测量误差），样本点取值如下：
:   f(1) = f(3) = f(5) = f(7) = f(9) = -1
:   f(2) = f(4) = f(6) = f(8) = f(10) = 1
: 
:   如果 学习机器 马马乎乎 的去学习，求个平均值，就正好“撞”上了 f(x) 的理论
: 表达式，即 f(x) = 0
: 
:   但如果 学习机器 偏偏要追求完美，为了更准确的匹配这 10 个学习样本点，就
: 会搞出一种 会周期性上下 波动的函数，这样反而过由不及。这就是 过学习。
: (以下引言省略 ... ...)


GzLi (笑梨) 于Sat Jan  4 10:44:53 2003)
提到：

呵呵，这个例子的确不是很准确，只是网上也没有人写过类似的东西
而网友们对overfitting有的也不了解，就有个感性认识。
burges那个例子，我看过，写的很好。
研究比较多的可能是IEEE fellow A. K. Jain。文章都是1990年前的了。

【 在 ihappy (drunken new year) 的大作中提到: 】
: to be frank, this example is not very good.
: 什么叫做马马虎虎的学习，求个平均值？就这一句话，会让对机器学习不熟悉的人产生
: 误解。认为machine learning is not a principled science, without some ground
: theory, but only some conjectures, coincidence, ...
: 见过的比较好的例子例如：一个可以用二次多项式拟合的点集（有误差），如果要做到
: 在训练集上完全拟合，用高次多项式来做，从而使结果多项式过度复杂，产生
: overfitting
: 【 在 GzLi (笑梨) 的大作中提到: 】
: (以下引言省略 ... ...)


ihappy (drunken new year) 于Sat Jan  4 13:25:36 2003)
提到：

It's defintely wrong.

In most overfitting cases, it is because that the learner is TOO GENERAL,
compared with the training data. 

【 在 helloboy (hello) 的大作中提到: 】