大数据

数据存储技术

2018-05-07 11:49:24 | 来源:中培企业IT培训网

(4)数据存储技术

数据存储技术平台的选择一般要结合数据的重要等级、服务等级、安全等级、数据类型、数据访问特性(增/删/改/查)等多种因素综合考虑。

1)对于交易型数据,由于属于交易系统,重要且存在大量用户的高并发访问,要求实时响应并提供7×24h的服务,因此一般采用面向联机事务处理系统(OLTP)的关系型数据库来实现。从实际情况看,绝大多数银行采用DB2及Oracle这两种数据库实现交易型数据的存储。

2)对于集成型数据,该类数据主要服务于银行的决策支持,其重要程度、服务等级相对较低,但其数据规模相对较大(一些大型银行的集成型数据可达PB级),以后台批量运算为主,所以一般采用大规模并行处理系统( MPP)架构的技术平台进行数据的存储管理,如IBM DBF、Teradata、Greenplum等。而随着大数据时代的到来,数据呈现爆发式增长,而且出现了大量的文本、网页、图像等半结构化和非结构化类型的有分析价值的数据,与之相应各类技术平台也雨后春笋般地涌现。目前,Hadoop、Spark是互联网企业运用较多的技术,各银行也在进行探索和引入,并在不同业务场景中获得了初步的成功。

3)对于分析型数据,主要面向客户关系管理、风险管理、绩效管理等业务领域服务,侧重于各类业务指标的计算和展现服务,具有批量计算、在线分析挖掘与即时响应等特点,一般采用Oracle、SAS类产品存储,并与分析挖掘工具、可视化工具结合满足用户的数据分析挖掘需要。

4)对于历史型数据,一般区分结构化数据与非结构化数据进行存储技术平台考虑。银行的结构化历史型数据主要以客户的交易明细为主,需要满足大量客户的并发访问需求,传统是采用Oracle等关系型数据库,采用分库形式(如按历史时间段)提供服务,随着MPP类系统、Hadoop的查询并发响应能力的提高,一些银行已经采用此类系统进行历史数据存储,部分银行正在进行技术可行性评估,逐步考虑迁移至该类系统提供服务,减少因分库而带来的架构及操作复杂性。银行的非结构化历史型数据包括电子影像文档等。此类数据规模巨大,一般采用磁盘文件、光盘、数据库(存放索引)等多种技术平台实现该类数据的存储与查询访问。

标签: 数据存储技术