大数据

结构化数据处理系统一

2018-05-09 11:35:41 | 来源:中培企业IT培训网

12. 2.1  结构化数据处理系统

当前银行业数据处理与应用主要针对结构化数据,其过程就是数据仓库的发展过程。数据仓库的概念大约在20世纪70年代到80年代形成,在理论层面上基本认同了以下观点:

应当把那些新出现的、不可以预测的、大量存在的分析型负载从业务处理系统中剥离出来,采用专门的体系架构和设计来进行处理。数据分析和业务处理存在相当大的差异,以至于需要用具有不同体系结构的系统来分别处理它们,这就导致了数据仓库的出现。一个典型的数据仓库服务体系如图12-2所示。

数据仓库平台的建设实现了企业异构数据的集成,企业按照分析主题重组数据,建立了面向整个企业的一致的信息视图。在此基础上,结合数据挖掘、联机分析等技术,为实施精准化营销、有效控制企业风险。实现经营资源的优化配置等提供了数据基础,全面提升了数据的共享水平,深入挖掘了数据的业务价值,大大增强了决策的科学性。数据仓库中存储的数据,需要进一步转化为能实际应用的知识,用于指导后续工作,这样才能充分发挥其数据的价值。数据挖掘利用了来自统计学的抽样、估计和假设检验,人工智能、模式识别、机器学习的搜索算法、建模技术和学习理论,通过数理模式来分析企业内储存的大量资料,以找出不同的客户或市场划分,分析出消费者的喜好和行为。数据挖掘需要数据库系统提供有效的存储、索引和查询处理支持,源于高性能(并行)计算的技术在处理海量数据方面常常是重要的。因此,数据仓库往往和数据挖掘技术密不可分,而数据挖掘技术在数据仓库海量数据的支撑下,更能发挥其重要作用。通过数据仓库中的海量数据,建立一定的数据挖掘模型,用于预测客户的产品需求和行为特征,作为后续营销、决策的依据,这将是数据仓库后续主要的发展方向之一。

标签: 数据处理系统