54.txt

This complete matlab for neural network

发信人: GzLi (笑梨), 信区: DataMining
标  题: [合集]有没有研究co_training的？
发信站: 南京大学小百合站 (Thu Mar 13 11:36:30 2003)

jeff814 (mimi) 于Thu Jan 23 11:34:33 2003)
提到：

有没有研究机器学习中的co_training（传统应用为：web页分类）的，请与我联系参与讨
论！

[e-mail]


aaahchi (aaahchi) 于Thu Jan 23 19:55:39 2003)
提到：

co-training的paper看了一遍，思想挺简单的，不过前提比较严格。做实验的时候当
label数据不足时效果不如TSVM好，也容易受noise影响，不过效率比TSVM高

【 在 jeff814 (mimi) 的大作中提到: 】
: 有没有研究机器学习中的co_training（传统应用为：web页分类）的，请与我联系参与讨
: 论！
: 
: [e-mail]


merlyn (摸您) 于Mon Feb 17 20:55:37 2003)
提到：

Jochims 已经证明了co-training等价于TSVM。
呵呵

【 在 aaahchi (aaahchi) 的大作中提到: 】
: co-training的paper看了一遍，思想挺简单的，不过前提比较严格。做实验的时候当
: label数据不足时效果不如TSVM好，也容易受noise影响，不过效率比TSVM高
: 【 在 jeff814 (mimi) 的大作中提到: 】


aaahchi (aaahchi) 于Mon Feb 17 21:25:17 2003)
提到：

是吗，我怎么没有听说。

我觉得两者完全不同，一方面是是否要求feature split。另一方面，从原理上
TSVM利用到unlabel数据来确定最大margin分界面，这样其实不是很有道理，
co-training用unlabeled数据来限制假设空间，更有道理一些，但实践中它
所要求的前提不能得到满足，而且受初始数据的影响大。

【 在 merlyn (摸您) 的大作中提到: 】
: Jochims 已经证明了co-training等价于TSVM。
: 呵呵
: 【 在 aaahchi (aaahchi) 的大作中提到: 】


jeff814 (mimi) 于Wed Mar  5 15:03:09 2003)
提到：

：前提严格
说不上啊。只要求弱学习，可PAC，而且两个特征集有互补性。
：容易受noise影响
这里的noise实际上主要指分类的结果不可能完全正确。错误分类的结果如果用来再训练就
是noise。解决的办法有两个。1）尽量不要采信分类错误的结果。2）尽量采用容噪性能好
的学习算法
：TSVM（Transductive Support Vector Machines）
这个我还没有了解过。中文翻译成***支撑矢量机好呢？

【 在 aaahchi 的大作中提到: 】
: co-training的paper看了一遍，思想挺简单的，不过前提比较严格。做实验的时候当

: label数据不足时效果不如TSVM好，也容易受noise影响，不过效率比TSVM高
: 【 在 jeff814 (mimi) 的大作中提到: 】


aaahchi (aaahchi) 于Wed Mar  5 18:20:55 2003)
提到：

co-training要两个特征集是sufficient的，就是单用任何一个
特征集都能达到较高的分类精度，一般应用里面可能没有那么
充足的特征。它（理论上）还要求两个特征集条件独立。就是说
互补性高到一定程度算法才能迭代增强。

noise主要是指它受初始label数据影响比较大。如果初始label数据
很偏，错误会不断积累，性能就会比较差。我们做的实验中，与
tsvm相比,在不同的初始数据下co-training的方差比较大。

Transductive我也不知道怎么翻译，跟inductive,deductive并列
的一个概念吧。归纳是从特殊到一般，演绎是从一般到特殊，
transductive是从特殊到特殊。

【 在 jeff814 (mimi) 的大作中提到: 】
: ：前提严格
: 说不上啊。只要求弱学习，可PAC，而且两个特征集有互补性。
: ：容易受noise影响
: 这里的noise实际上主要指分类的结果不可能完全正确。错误分类的结果如果用来再训..
: 是noise。解决的办法有两个。1）尽量不要采信分类错误的结果。2）尽量采用容噪性..
: 的学习算法
: ：TSVM（Transductive Support Vector Machines）
: 这个我还没有了解过。中文翻译成***支撑矢量机好呢？
: 
: 
: 【 在 aaahchi 的大作中提到: 】


jeff814 (mimi) 于Thu Mar  6 14:56:59 2003)
提到：

1）Transductive inference 翻译成“直推”。所以，transductive就是你说的“从特殊
到特殊”的意思。

2）没错，我的实验结果也表明co-training对于初始数据集比较敏感。关于co-training，
我有个问题没想明白：是否可以不用多个分类器，而只用一个呢？分析如下：
co-training中如果两个分类器（h1，h2）的初始训练都比较好，即预测准确率较高。则对
unlabeled数据，两个分类器分类的结果应该基本相同（都判成其真实类别）。其中，h1和
h2分类类别标记相同的那部分结果肯定比分类标记不同的部分要更可信一些。问题来了。
是把更可信的分类结果数据作为重新训练数据呢，还是采用不是那么可信的部分来重新训
练？
如果用不可信部分来训练，显然错误率会被累计。
如果用可信的部分来训练，由于两个分类器的输出结果是相同的。因此等效于用一个分类
器来做此循环。

其实，从直觉上说，只要初始分类器准确率比较高（具体为多少，有待分析验证），则他
的分类结果中正确的部分肯定要多与错误的部分。即，再训练数据中的正确信息多于错误
信息。将其结果用来做再训练，没有理由认为错误的信息对学习机的影响要大于正确信息
对学习机的影响。因此，学习的性能应该是可以提高的。

极端情况：初始分类器准确率为50%。则他的分类结果中一半正确一半错误。将分类结果用
来做再训练，新的分类器准确率也应该大致为50%。即：正确信息和错误的信息对学习机的
影响相同，分类器的准确率基本不变。

你的意见呢？
你的email变了吗？如果不是太麻烦你的话，希望能跟你多讨论讨论。
mine：[e-mail]

【 在 aaahchi 的大作中提到: 】
: co-training要两个特征集是sufficient的，就是单用任何一个
: 特征集都能达到较高的分类精度，一般应用里面可能没有那么
: 充足的特征。它（理论上）还要求两个特征集条件独立。就是说
: 互补性高到一定程度算法才能迭代增强。
: noise主要是指它受初始label数据影响比较大。如果初始label数据
: 很偏，错误会不断积累，性能就会比较差。我们做的实验中，与
: tsvm相比,在不同的初始数据下co-training的方差比较大。
: Transductive我也不知道怎么翻译，跟inductive,deductive并列
: 的一个概念吧。归纳是从特殊到一般，演绎是从一般到特殊，