2.txt

This complete matlab for neural network

发信人: threeman (三镜先生), 信区: DataMining
标  题: 统计学与数据挖掘的关系
发信站: 南京大学小百合站 (Tue May 27 15:42:28 2003)

[+red]数据挖掘和统计学有什么联系？

[+green]J.H.Friedman  斯坦佛大学统计系

[+black]
摘要：数据挖掘是揭示存在于数据里的模式及数据之间关系的学科，它强调对大量观测到的数据库的处理。它涉及到数据库管理，人工智能，机器学习，模式识别，以及数据
可视化等学科，是一门边缘学科。从统计学的观点看，它可以看成是通过计算机对大量的
复杂的数据集的自动探索性分析。目前对该学科的作用尽管有点夸大其词，但该领域对商
业，工业，以及科学研究都有极大的影响，且提供了大量的为促使新方法的发展而进行的
研究工作。尽管数据挖掘和统计分析之间有明显的联系，但迄今为止大部分的数据挖掘方
法都不是产生于统计学科。这篇文章对这一现象作了一些解释，并说明了为什么统计学家
应该关注数据挖掘。统计学可能会对数据挖掘产生很大影响，但这可能要求统计学家们改
变他们的一些基本思路及操作原则。
[+green]
1什么是数据挖掘？
[+black]
数据挖掘的定义非常模糊，不同的专家基于自己的研究背景与观点给出了不同的定义
，如下是一些DM文献中的定义： 
数据挖掘是一个确定数据中有效的，新的，可能有用的并且最终能被理解的模式的重要过
程。--Fayyad. 
数据挖掘是一个从大型数据库中提取以前未知的，可理解的，可执行的信息并用它来进行
关键的商业决策的过程。--Zekulin. 
数据挖掘是用在知识发现过程，来辩识存在于数据中的未知关系和模式的一些方法。--Fe
rruzza 
数据挖掘是发现数据中有益模式的过程。--Jonn 
数据挖掘是我们为那些未知的信息模式而研究大型数据集的一个决策支持过程。--Parsay
e 
数据挖掘是.决策树.神经网络.规则推断.最近邻方法.遗传算法—Mehta

虽然数据挖掘的这些定义有点不可触摸，但在目前它已经成为一种商业事业。如同在过去
的历次淘金热中一样，目标是“开发矿工”。利润最大的是卖工具给矿工，而不是干实际
的开发。数据挖掘这个概念被用作一种装备来出售计算机硬件和软件。硬件制造商强调数
据挖掘需要高的计算能力。必须存储，快速读写非常大的数据库，并将密集的计算方法用
于这些数据。这需要大容量的磁盘空间，快速的内置大量RAM的计算机。数据挖掘为这些硬
件打开了新的市场。 

软件提供者强调竞争优势。“你的对手使用它，你最好得跟上。”同时强调它将增加传统
的数据库的价值。许多组织在处理存货，帐单，会计的数据库方面有大量的业务。这些数
据库的创建和维护都耗资巨大。现在只需要将相对少的投资用于数据挖掘工具，就可以发
现隐藏在这些数据中的具有极高利润的信息“金块”。 

目前硬件和软件供应者的目的是在市场还未饱和前通过迅速推出数据挖掘产品为数据挖掘
作广告。如果一个公司为数据挖掘包投资了五万至十万美元，这也可能只是实验，人们在
新产品未被证实比旧产品具有很大优势之前是不会贸然购买的。以下是一些当前的数据挖
掘产品：
IBM: “Intelligent Miner”――智能矿工
Tandem: “relational Data Miner”――关系数据矿工
AngossSoftware: “Knowledge SEEDER”――知识搜索者，等。
除了这些“综合”软件包外，还有许多专门用途的产品。另外，许多专业于数据挖掘的咨
询公司也成立了。在这个领域，统计学家和计算机科学家的不同在于：当统计学家有一个
想法时，他（她）将它写成文章，而计算机科学家者开一家公司。
当前数据挖掘产品的特点有：
　　迷人的图形用户界面
数据库（查寻语言）
一套数据分析过程
窗口形式的界面
灵活方便的输入
点击式按键和说明
输入对话框--利用图表分析
复杂的图形输出
大量数据图
灵活的图形解释树，网络，飞行模拟
结果方便的处理。
这些软件包对决策者来说就象数据挖掘专家。在当前的数据挖掘软件包中被用到的统计分
析过程包括：
.决策树推断
规则推断(AQ,CN2,RECON,etc)
最近邻方法(合乎情理的方案)
聚类方法(数据分离)
联合规则(市场篮子分析)
特征提取
可视化
另外，有些还包括：
神经网络
bayesian belief 网络（图形模型）
遗传算法
自组织图
神经模糊系统
几乎所有包都不包括：
假设检验
实验设计
响应表面模型
ANOVA,MANOVA,etc.
线性回归
判别分析
对数回归
广义线性模型
正则相关性
主成分分析
因子分析
后面的这些方法是标准统计包里的主要部分。因此，当前被市场化的数据挖掘包中的大部
分方法在统计学科之外产生和发展。统计学核心的方法已被忽略。 

[+green]2 现状

[+black]从数据学习的想法已经提出很长时间了。但在忽然之间人们对数据挖掘的兴趣却变得
如此强烈，这是为什么呢？主要原因是近来它与数据库管理领域有了联系。数据，特别大
量的数据保存在数据库管理系统中。传统的DBMS集中于在线转换过程（OLTP On-line tra
nsaction processing）；也就是数据组织的目的是存储并快速恢复单个记录。它们过去常
用来记录库存，薪水表记录，帐单记录，发货记录，等等。
最近，数据库管理界对将数据库管理系统用于决策支持越来越感兴趣。这样一个决策支持
系统将允许对原本为在线转换过程应用收据的数据进行统计查询。比如“上月我们的所有
连锁店一共卖了多少尿布？”，决策支持系统需要“数据仓库”的结构。数据仓库用相同
的格式将某组织分散在各个部门的数据统一成一个单一的中心数据库（通常有100GB大）。
有时较小一点的子数据库也可以建成来进行特殊的分析；这些又叫“数据市场”（Data M
arts） 
决策支持系统为在线分析过程(OLAP)和关系在线分析过程设计。关系在线分析过程为“多
维分析”设计。关系在线分析过程数据库通过维组织，维即属性（变量）的逻辑类。数据
体可以看成是高维偶然事件表。关系在线分析过程支持如下类型的查询：
显示春季运动服部门总的销售量，及California大城市商业街中商店数
和小城市中商店进行比较
显示所有利润边界值为负的项 
如果关系在线分析过程的查寻由使用者手工进行，使用者提出潜在的相关问题；得到结果
需要附加的查寻，其答案可能暗示进一步的问题。这样的分析过程一直到不再有感兴趣的
问题提出，或者到分析员精疲力尽或耗完时间。如果用关系在线分析过程进行数据挖掘，
那它需要一个经验丰富的使用者，他能不睡且不老，使用者必须不断地重复提出见闻广博
的问题。
数据挖掘也可以用数据挖掘系统（软件）进行，它只需要使用者提供模糊的指令，就能自
动搜索相应的模式，并显示重要的项，预测，或反常记录。 
.利润边界值为负的项有什么特征？
.如果决定开发某项产品的市场-预测它的利润边界值
.寻找那些其利润边界值可以准确预测的项的特征
不是所有的大的数据库都是商业化的，比方说科学和工程中大量存在的数据库。这些数据
库通常和计算机自动收据数据联系在一起，比方说：
.天文的(天空图)
.气象的(气候，环境污染监测站)
.卫星遥感