大数据

要有数据质量检查工具

2018-05-02 14:34:30 | 来源:中培企业IT培训网

(2)要有数据质量检查工具  对数据进行及时监测,通过检查规则对数据进行检查,找出存在的数据质量问题,以便能及时对数据或程序进行整改,进而提高银行应用系统的数据质量。银行数据质量管理系统与工具体系如图7-2所示。

数据质量管理系统的基本原理是将检查规则部署于数据来源系统,通过筛选和过滤问题数据,将具有质量问题的数据通过平台统一储存,并实现以下功能:

(1)错误数据自动捕获和存储功能  通过部署检查规则,数据质量检查系统可以对每天新增或存量的数据进行扫描,符合特定条件的数据会被筛选出来,按照不同维度进行划分并加以存储,并可以提供用户下载和查看。

(2)错误数据增量与存量统计功能  可以为用户提供查询统计功能,使用户了解到当期新增错误数据量以及还有多少待修改错误数据量。

(3)考核通报功能考核通报是数据治理的重要手段之一。数据质量管理系统应支持考核报表的自动生成和展现,用于反映数据质量情况和数据治理工作进度。所有考核通报都应以数据质量检查规则为依托,例如个人客户信息完整率考核报表,用户在查询通报的同时,可以通过通报相对应的检查规则将不完整客户清单直接下载到本地,用于后续补录。

(4)质量监控功能对于时效性较高的问题,要求具有监控和通知功能,一旦发现问题,则应立即通知用户(包括邮件、短信等方式),保证数据的时效性。

标签: 数据质量管理