现对此典型的流数据处理系统设计思路进行简要介绍
2018-05-09 11:45:01 | 来源：中培企业IT培训网
现对此典型的流数据处理系统设计思路进行简要介绍
1)客户通过POS等渠道进行交易。
2)流数据处理系统引入大内存、分布式计算等技术实现交易数据的快速处理。
3)流数据处理系统准实时推送服务，广泛应用于余额提醒、事件式营销、风险防控等交易场景。
4)客户经理、业务人员及时对客户进行营销、提醒等服务。
流数据处理系统主要作为交易系统的延伸，通过对交易数据的采集、存储、计算、分发、持久化等环节的快速处理，承担交易过程中涉及的风险控制、增值类数据加工处理服务，为客户营销、风险监控、客户服务等业务系统提供异步准实时交易信息处理和推送服务。
通常流数据处理系统提供两种不同的服务方式，一种是逐笔对交易信息进行处理的“流式”服务模式，另一种是一次性对一批交易信息进行处理的准实时批量服务模式。两种服务模式具体的处理模式、技术特点、时效、设备资源和服务领域见表12.1。
(1)“流式”服务模式这种模式需要逐笔对交易报文进行处理，经过规则计算，并以联机报文的方式对外提供服务。此类服务模式适用于对时效要求非常高（秒级响应）的业务功能，典型的应用场景包括：余额提醒、商户圈信息推送、信用卡交易监控（反欺诈）信息筛选、柜面客户大额资金变动后的触点式营销等。
(2)准实时批量服务模式这种模式是对一段时间内发生的一批交易报文进行统一的处理，通过Spark将存储在HDFS中的信息抽取出来进行统一计算，主要以批量文件的方式对外提供服务。此类服务模式适用于分钟级响应的业务功能，典型的场景包括：客户购买理财产品后营销信息推送、大额资金流转至第三方存管的营销、风险监控（分钟级时效）、交易监控统计、分行特色销售统计等。
表12-1 两种服务模式的比较
400-626-7377
录播
公开课
题库
在线咨询