16.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [合集]关于机器学习的讨论－第二节
发信站: 南京大学小百合站 (Tue Jan  7 10:43:54 2003)

GzLi (笑梨) 于Tue Dec 24 22:23:16 2002)
提到：

准备开始第二节的学习了。
内容是：Concept learning, version spaces (ch. 2)
请看ch2.ps

GzLi (笑梨) 于Thu Dec 26 10:29:37 2002)
提到：

昨天有些事情，昨晚刚看完，讲概念学习concept learning和
一般到特殊序general to specific ordering，这个名词老觉得不顺口。
下面是我的读书心得。
1.本节内容讲概念学习，这个概念或者是这类问题可能是机器学习中最基本或者
确切的说是最简单的一类问题了吧。它只是研究从有关的某个布尔函数的输入输出
样例中推断出该布尔函数。在这里给出了一个Aldo水上运动的例子。这个例子也可以
用其它算法给出结果，比如神经网络，但没有比较过哪类算法更合适。
2.一般到特殊序的概念定义了一种结构可以用于概念学习中描述搜索空间。
3.然后讲归纳学习算法它是从训练样本中得到信息，所以也要假定训练样本跟
测试样本的分布是一致的。这里讲了两个基本算法：Find-S算法和
Candidate-Elimination算法（Tom在1977年提出的）。
本书1.3节中讲到机器学习的观点，作者认为机器学习问题经常归结于搜索问题。
本节也是通过搜索策略和学习器搜索空间内在结构来刻画这两个算法的。
对于搜索空间，Find-S算法只是极大特殊成员的，而C-E算法则是利用极大一般和
极大特殊来描述。对于搜索策略，我没有看出算什么，启发式的吧。
这两个算法的缺点就是1)必须要训练样本中没有错误；2)搜索空间中确实包含目标概念
的正确假设。
4.我很感兴趣的是在2.8最后提到的析取变型空间Sebag（1994,1996)，我想这种方法
性能这么好，也是可以在数据挖掘中应用的，不知道有没有人用过。而且不知道实数值
的问题现在有没有人接着这个思想研究。本书写于1997年，作者没有叙述，
我想我们以后可以继续讨论这个问题。

【 在 GzLi (笑梨) 的大作中提到: 】
: 准备开始第二节的学习了。
: 内容是：Concept learning, version spaces (ch. 2)
: 请看ch2.ps


aaahchi (aaahchi) 于Thu Dec 26 13:14:16 2002)
提到：

可能还要注意的一个概念是归纳偏置。

概念学习这一章从mitchell的观点是机器学习的一个基础。这里mitchell
给出了他对于一些基本问题的看法。后面每讲一个学习算法，都会按照这
一章的思路分析它的归纳偏置是什么，搜索策略是什么。

【 在 GzLi (笑梨) 的大作中提到: 】
: 昨天有些事情，昨晚刚看完，讲概念学习concept learning和
: 一般到特殊序general to specific ordering，这个名词老觉得不顺口。
: 下面是我的读书心得。
: 1.本节内容讲概念学习，这个概念或者是这类问题可能是机器学习中最基本或者
: 确切的说是最简单的一类问题了吧。它只是研究从有关的某个布尔函数的输入输出
: 样例中推断出该布尔函数。在这里给出了一个Aldo水上运动的例子。这个例子也可以
: 用其它算法给出结果，比如神经网络，但没有比较过哪类算法更合适。
: 2.一般到特殊序的概念定义了一种结构可以用于概念学习中描述搜索空间。
: 3.然后讲归纳学习算法它是从训练样本中得到信息，所以也要假定训练样本跟
: 测试样本的分布是一致的。这里讲了两个基本算法：Find-S算法和
: Candidate-Elimination算法（Tom在1977年提出的）。
: 本书1.3节中讲到机器学习的观点，作者认为机器学习问题经常归结于搜索问题。
: 本节也是通过搜索策略和学习器搜索空间内在结构来刻画这两个算法的。
: 对于搜索空间，Find-S算法只是极大特殊成员的，而C-E算法则是利用极大一般和
: 极大特殊来描述。对于搜索策略，我没有看出算什么，启发式的吧。
: 这两个算法的缺点就是1)必须要训练样本中没有错误；2)搜索空间中确实包含目标概念
: 的正确假设。
: 4.我很感兴趣的是在2.8最后提到的析取变型空间Sebag（1994,1996)，我想这种方法
: 性能这么好，也是可以在数据挖掘中应用的，不知道有没有人用过。而且不知道实数值
: 的问题现在有没有人接着这个思想研究。本书写于1997年，作者没有叙述，
: (以下引言省略 ... ...)


sdvictor (大家好) 于Thu Dec 26 19:42:22 2002)
提到：

hyothesis bias 原来译作“归纳偏置”，我觉得不是太形象，不过，我都快读完他的原
作了 ，还是不知怎么译合适。

【 在 aaahchi (aaahchi) 的大作中提到: 】
: 可能还要注意的一个概念是归纳偏置。
: 概念学习这一章从mitchell的观点是机器学习的一个基础。这里mitchell
: 给出了他对于一些基本问题的看法。后面每讲一个学习算法，都会按照这
: 一章的思路分析它的归纳偏置是什么，搜索策略是什么。
: 【 在 GzLi (笑梨) 的大作中提到: 】
: (以下引言省略 ... ...)


GzLi (笑梨) 于Thu Dec 26 22:18:23 2002)
提到：

归纳偏置，这里应该是inductive bias吧。

【 在 sdvictor (大家好) 的大作中提到: 】
: hyothesis bias 原来译作“归纳偏置”，我觉得不是太形象，不过，我都快读完他的原
: 作了 ，还是不知怎么译合适。
: 【 在 aaahchi (aaahchi) 的大作中提到: 】


helloboy (hello) 于Fri Dec 27 07:50:10 2002)
提到：

假设偏置
【 在 sdvictor (大家好) 的大作中提到: 】
: hyothesis bias 原来译作“归纳偏置”，我觉得不是太形象，不过，我都快读完他的原
: 作了 ，还是不知怎么译合适。
: 【 在 aaahchi (aaahchi) 的大作中提到: 】