大数据分析的案例 方法与挑战_黄志洪(DTCC2012) - 免费下载
技术资料资源
文件大小:2873 K
💡 温馨提示:本资源由用户 bluedrops 上传分享,仅供学习交流使用。如有侵权,请联系我们删除。
大数据分析的案例、方法与挑战_黄志洪(DTCC2012)
数据分析者面临的问题 数据日趋庞大,无论是入库和查询,都出现性能瓶颈 用户的应用和分析结果呈整合趋势,对实时性和响应时间要求越来越高 使用的模型越来越复杂,计算量指数级上升 传统技能无法应对大数据:R、SAS、SQL
数据库服务器:HP小型机,128G内存,48颗CPU,2节点RAC,其中一个节点用于入
库,另外一个节点用于查询
存储:HP虚拟化存储,>1000个盘
入库节点
入库方式——常规路径sqlldr
大量使用表分区设计
数据量:每小时写入200G左右数据磁盘物理写大约
为450G每小时