6.txt

This complete matlab for neural network

发信人: yaomc (白头翁&山东大汉), 信区: DataMining
标  题: SAS的数据挖掘方法与技术。
发信站: 南京大学小百合站 (Sat Dec  8 11:21:38 2001), 站内信件

SAS数据挖掘
目   录
SAS帮助你进行数据挖掘 
SAS的数据挖掘的方法论-SEMMA 
SAS数据挖掘的集成软件工具--SAS/EM（Enterprise Miner） 

------------------------------------------------------------------------
--------

SAS帮助你进行数据挖掘
    早期的计算机主要就是用来进行数据处理或称数值计算的。后来随着计算机技
术及其周边设备和通讯能力的发展，计算机更多地用于了大量繁杂事务的在线处理
，生产设备的实时控制等。在此过程中，计算机系统积累了越来越多的数据，数据
处理的任务就更加繁重。到今天，即使是发展中的我们中国，在一个企业中有数以
几十或上百GB（10 字节）计的生产经营数据已不是什么希奇的事情了。企业的数
据和由此而产生的信息是企业的重要财富。它最真实、具体的反映了企业运作的本
质状况。但是，面对堆积如"山"的数据，你可能并未看清企业运作的本质规律是什
么，或者说你至少是未能全部看清楚。面对激烈竞争的市场经济，企业的经营和管
理者任何不符合客观事物规律性的决策都会给企业带来损失，甚至失败。运用有力
的工具，不断地探索企业成败、得失的原委，并以此不断完善企业运作，这是每一
个成功的企业家必不可少的工作任务。美国SAS软件从60年代在北卡洲立大学开创
伊始就致力于计算机数据处理的研究。几十年来无数的成功事例使人们推崇SAS为
国际上标准的数理统计分析软件；进而，SAS的丰富数据采集、数据管理、数据分
析和信息展现的能力，又使之成为决策支持的最好的工具；现在SAS又推出了套装
的SAS/Enterprise Miner这一企业级的数据处理分析和决策支持软件包。SAS系统
的软件和这些软件运用的无数成功经验，一定能帮你从企业堆积如"山"的数据中"
挖掘"出隐藏着的规律性，以支持你正确的经营决策。

    SAS的数据挖掘软件集成了一系列有效的技术手段全面地支持你的工作。首先
是支持你的数据重组工作。在你的企业或组织中或许已经有了成功的MIS系统、
CIMS系统或是有了大量卓有成效的过程控制系统，甚至是办公自动化系统。其中的
数据体系对应着一项项事务处理和一个又一个控制环节，它们定能完美的支持其原
有的工作。但当你从企业级的角度去审视，并想进一步分析处理时，你会感到这些
数据过于分散，数量越来越大，并难以整合。美国数据挖掘技术开拓者Gregory 
Piatetsky-Shapiro曾戏言说："原来曾希望计算机系统成为我们智慧的源泉，但从
中涌出的却是洪水般的数据！"其实不必埋怨数据太多，也不必埋怨原来的数据结
构不好，它们是适应原有工作任务的，只是不适合你现在的要求而已。要支持你的
企业级的决策，就是需要"洪水般的数据量"，但是要面向企业级的工作任务对其进
行重组。SAS有连续两年获奖的数据仓库系统支持你进行数据重组，并以全新的数
据、信息的结构形式支持你的全新的工作方式。这在前面五篇连载文章中已作了详
尽的介绍。建立数据仓库，这是进一步能有成效的进行数据挖掘的基础工作。

    要看清企业或组织运作的状况，第一步就是能查询到反映你所关心事情的相应
数据、信息。以SAS的多维数据库产品MDDB构造的数据仓库从物理结构上保证了你
查询的迅速、方便。E.F.Codd在提出在线分析处理OLAP概念时，多维数据结构是实
现其任务的第一项要求。一些简单的决策支持所需要的就是有针对性的数据。在数
据重组后的数据仓库中还建立了所谓数据市场（Data Marts），它就可以更针对决
策支持的需要而设计，其中还可综合不同层次的汇总数据和跨数据仓库主题的数据
。

    SAS软件研究所对数据挖掘所下的定义是：数据挖掘是按照既定的业务目标，
对大量的企业数据进行探索、揭示隐藏其中的规律性并进一步将之模型化的先进、
有效的方法。

    对数据的探索、挖掘首先要有一个明确的业务目标。一组生产数据可作生产能
力的分析；可作生产成本核算的分析；亦可作影响产品质量诸因素的分析。目标决
定了此后数据挖掘过程的各种运作，并导引了运作的方向。虽然说数据挖掘的业务
目标在过程中不是不可修正的，也应当在工作进程中不断的进一步明确化，但其基
本原则内容要保持稳定不变，否则数据挖掘工作是难以有效的进行的。

    这里所指的大量企业数据最好是按照数据仓库的概念重组过的，在数据仓库中
的数据、信息才能最有效的支持数据挖掘。假如所取用的数据并不足以反映企业的
真实情况，当然也不可能挖掘出有用的规律。数据仓库的数据重组，首先是从企业
正在运行的计算机系统中完整地将数据取出来。所谓完整，就是决策支持目标所涉
及的各个环节不能有遗漏；其次各个环节的数据要按一定的规则有机、准确地衔接
起来。从决策支持的主题来看，这重新组织过的数据，以极易取用的数据结构方式
，全面的描述了该主题。

    有了反映业务主题全貌的数据后，在进行数据的分析、探索时，对于不同的人
，可能会采用不同的方式方法。Gartner Group在评价数据挖掘工具时，也特别提
到了面对各种不同类型人员的可伸缩性和完整性。SAS支持各层次用户： 

业务水平和数学水平可能比较一般，对这样的用户提供方便的数据查询是非常重要
的。实际上早期的决策支持主要就是数据查询的支持。可能也要做一些简单的数理
统计分析。若统计分析的要求是较明确的，可以事先做好，向他们提供统计分析的
结果。这可做成SAS数据仓库中的信息市场（Information Mart）。对应他们随机
的需求，应当提供菜单式选择的方便工具。 
业务水平较高，但数学水平一般，且没有时间和兴趣再钻研数学方法的人，除了以
上资源外，还应提供能简便的实现各种常用的数理统计的工具。让他们不必受累于
繁杂的过程，通过简单的需求设定，即可执行他们需要的操作。 
有计算机和数学知识，但对业务的熟悉程度一般的人员。对他们要提供较全面的数
据处理工具，如：数理统计；聚类分析；决策树；人工神经元网络；……等。 
对有很深计算机和数学造诣的数据分析专家不仅要提供上述环境，而且还要提供实
现各种算法的工具和开发平台。 
    SAS系统提供了适合各类人员使用的既完整，又有伸缩性的摸块化的工具。

    通过探索和模型化所得的结果可分成两种类型：一种是描述型的；另一种是预
测型的。描述型的结果是指通过数据挖掘量化的搞清了业务目标的现状。如在原来
工艺规程中允许的范围内，生产出来的产品质量水平波动很大。通过数据挖掘找出
了这同一种产品在什么条件下产出的产品质量比较好；什么条件下产出的产品质量
较差。通过数据挖掘，描述清楚了产品质量高低的规律性，这就为修改原来的工艺
规程提供了决策的支持依据。

    通过数据挖掘还可以建立起企业或某个过程的各种不同类型模型。这些模型不
仅能描述当前的现状和规律性，而且利用它还可以预测当条件变化后可能发生的状
况。这就为企业开发新产品；甚至于为企业业务重组提供决策支持依据。

    在世界走向信息化的今天，充分利用企业的信息资源，挖掘企业和所对应市场
的运作规律性，以不断提高企业的经济效益是先进企业的必由之路。世界有名的
Gartner Group咨询顾问公司预计：不久的将来先进的大企业将会设置"统一数据分
析专家"的工作岗位。

    在以SAS数据仓库和数据挖掘应用获奖的美国LTV钢铁公司阐述其获奖文章的题
目是"DW + DM = $aving"亦即在企业中建立数据仓库进行数据挖掘就是挖取企业的
经济效益。

 

SAS的数据挖掘的方法论-SEMMA
    正象是你拿个镐在山上挖几下不能算是开采矿山一样，用数理统计方法或人工
神经元网络作个数据分析，也不能说就是在进行数据挖掘了。要开采矿山，首先要
按照人类总结千百年来经验所形成的理论规律去找矿；发现矿藏后还要根据其实际
地质情况，有针对性的采用相应的方法最有效的挖掘才能获得有价值的宝藏。同样
，要想有效地进行数据挖掘也必须要有好的工具和一整套妥善的方法论。可以说在
数据挖掘中你采用的工具、使用工具的能力、以及数据挖掘过程中的方法论在很大
程度上决定了你能开拓的成果。SAS研究所不仅有丰富的工具供你选用，而且在多
年的数据处理研究工作中积累了一套行之有效的数据挖掘方法论──SEMMA，通过
使用SAS技术进行数据挖掘，我们愿意和你分享这些经验： 

Sample──数据取样 
Explore──数据特征探索、分析和予处理 
Modify──问题明确化、数据调整和技术选择 
Model──模型的研发、知识的发现 
Assess──模型和知识的综合解释和评价
Sample──数据取样
    当进行数据挖掘时，首先要从企业大量数据中取出一个与你要探索问题相关的
样板数据子集，而不是动用全部企业数据。这就象在对开采出来矿石首先要进行选
矿一样。通过数据样本的精选，不仅能减少数据处理量，节省系统资源，而且能通
过数据的筛选，使你想要它反映的规律性更加凸现出来。

    通过数据取样，要把好数据的质量关。在任何时候都不要忽视数据的质量，即
使你是从一个数据仓库中进行数据取样，也不要忘记检查其质量如何。因为通过数
据挖掘是要探索企业运作的规律性的，原始数据有误，还谈什么从中探索规律性。
若你真的从中还探索出来了什么"规律性"，再依此去指导工作，则很可能是在进行
误导。若你是从正在运行着的系统中进行数据取样，则更要注意数据的完整性和有
效性。再次提醒你在任何时候都不要忽视数据的质量，慎之又慎！

    从巨大的企业数据母体中取出哪些数据作为样本数据呢？这要依你所要达到的
目标来区分采用不同的办法：如果你是要进行过程的观察、控制，这时你可进行随
机取样，然后根据样本数据对企业或其中某个过程的状况作出估计。SAS不仅支持
这一取样过程，而且可对所取出的样本数据进行各种例行的检验。若你想通过数据
挖掘得出企业或其某个过程的全面规律性时，必须获得在足够广泛范围变化的数据
，以使其有代表性。你还应当从实验设计的要求来考察所取样数据的代表性。唯此
，才能通过此后的分析研究得出反映本质规律性的结果。利用它支持你进行决策才
是真正有效的，并能使企业进一步获得技术、经济效益。

Explore──数据特征探索、分析和予处理
    前面所叙述的数据取样，多少是带着人们对如何达到数据挖掘目的的先验的认