9.txt

This complete matlab for neural network

发信人: ashun (阿顺), 信区: DataMining
标  题: 数据挖掘入门（三）
发信站: 南京大学小百合站 (Mon Aug 20 10:07:07 2001)

数据挖掘和数据仓库

大部分情况下，数据挖掘都要先把数据从数据仓库中拿到数据挖掘库或数据集市中（见图
1）。从数据仓库中直接得到进行数据挖掘的数据有许多好处。就如我们后面会讲到的，数
据仓库的数据清理和数据挖掘的数据清理差不多，如果数据在导入数据仓库时已经清理过
，那很可能在做数据挖掘时就没必要在清理一次了，而且所有的数据不一致的问题都已经
被你解决了。

数据挖掘库可能是你的数据仓库的一个逻辑上的子集，而不一定非得是物理上单独的数据
库。但如果你的数据仓库的计算资源已经很紧张，那你最好还是建立一个单独的数据挖掘
库。

当然为了数据挖掘你也不必非得建立一个数据仓库，数据仓库不是必需的。建立一个巨大
的数据仓库，把各个不同源的数据统一在一起，解决所有的数据冲突问题，然后把所有的
数据导到一个数据仓库内，是一项巨大的工程，可能要用几年的时间花上百万的钱才能完
成。只是为了数据挖掘，你可以把一个或几个事务数据库导到一个只读的数据库中，就把
它当作数据集市，然后在他上面进行数据挖掘。

 
数据挖掘和在线分析处理（OLAP）

一个经常问的问题是，数据挖掘和OLAP到底有何不同。下面将会解释，他们是完全不同的
工具，基于的技术也大相径庭。

OLAP是决策支持领域的一部分。传统的查询和报表工具是告诉你数据库中都有什么（what
 happened），OLAP则更进一步告诉你下一步会怎么样（What next）、和如果我采取这样
的措施又会怎么样（What if）。用户首先建立一个假设，然后用OLAP检索数据库来验证这
个假设是否正确。比如，一个分析师想找到什么原因导致了贷款拖欠，他可能先做一个初
始的假定，认为低收入的人信用度也低，然后用OLAP来验证他这个假设。如果这个假设没
有被证实，他可能去察看那些高负债的账户，如果还不行，他也许要把收入和负债一起考
虑，一直进行下去，直到找到他想要的结果或放弃。

也就是说，OLAP分析师是建立一系列的假设，然后通过OLAP来证实或推翻这些假设来最终
得到自己的结论。OLAP分析过程在本质上是一个演绎推理的过程。但是如果分析的变量达
到几十或上百个，那么再用OLAP手动分析验证这些假设将是一件非常困难和痛苦的事情。


数据挖掘与OLAP不同的地方是，数据挖掘不是用于验证某个假定的模式（模型）的正确性
，而是在数据库中自己寻找模型。他在本质上是一个归纳的过程。比如，一个用数据挖掘
工具的分析师想找到引起贷款拖欠的风险因素。数据挖掘工具可能帮他找到高负债和低收
入是引起这个问题的因素，甚至还可能发现一些分析师从来没有想过或试过的其他因素，
比如年龄。

数据挖掘和OLAP具有一定的互补性。在利用数据挖掘出来的结论采取行动之前，你也许要
验证一下如果采取这样的行动会给公司带来什么样的影响，那么OLAP工具能回答你的这些
问题。

而且在知识发现的早期阶段，OLAP工具还有其他一些用途。可以帮你探索数据，找到哪些
是对一个问题比较重要的变量，发现异常数据和互相影响的变量。这都能帮你更好的理解
你的数据，加快知识发现的过程。

数据挖掘，机器学习和统计

数据挖掘利用了人工智能（AI）和统计分析的进步所带来的好处。这两门学科都致力于模
式发现和预测。

数据挖掘不是为了替代传统的统计分析技术。相反，他是统计分析方法学的延伸和扩展。
大多数的统计分析技术都基于完善的数学理论和高超的技巧，预测的准确度还是令人满意
的，但对使用者的要求很高。而随着计算机计算能力的不断增强，我们有可能利用计算机
强大的计算能力只通过相对简单和固定的方法完成同样的功能。

一些新兴的技术同样在知识发现领域取得了很好的效果，如神经元网络和决策树，在足够
多的数据和计算能力下，他们几乎不用人的关照自动就能完成许多有价值的功能。

数据挖掘就是利用了统计和人工智能技术的应用程序，他把这些高深复杂的技术封装起来
，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题
。
--
业精于勤荒于嬉，行成于思毁于随。 —— 韩愈
临渊羡鱼不如退而结网。           —— 班固
勿以恶小而为之，勿以善小而不为。 —— 刘备

※ 来源:．南京大学小百合站 http://bbs.nju.edu.cn [FROM: 202.119.80.20]