大数据

要有数据质量检查工具

2018-05-02 14:34:30　|　来源：中培企业IT培训网

(2)要有数据质量检查工具对数据进行及时监测，通过检查规则对数据进行检查，找出存在的数据质量问题，以便能及时对数据或程序进行整改，进而提高银行应用系统的数据质量。银行数据质量管理系统与工具体系如图7-2所示。

数据质量管理系统的基本原理是将检查规则部署于数据来源系统，通过筛选和过滤问题数据，将具有质量问题的数据通过平台统一储存，并实现以下功能：

(1)错误数据自动捕获和存储功能通过部署检查规则，数据质量检查系统可以对每天新增或存量的数据进行扫描，符合特定条件的数据会被筛选出来，按照不同维度进行划分并加以存储，并可以提供用户下载和查看。

(2)错误数据增量与存量统计功能可以为用户提供查询统计功能，使用户了解到当期新增错误数据量以及还有多少待修改错误数据量。

(3)考核通报功能考核通报是数据治理的重要手段之一。数据质量管理系统应支持考核报表的自动生成和展现，用于反映数据质量情况和数据治理工作进度。所有考核通报都应以数据质量检查规则为依托，例如个人客户信息完整率考核报表，用户在查询通报的同时，可以通过通报相对应的检查规则将不完整客户清单直接下载到本地，用于后续补录。

(4)质量监控功能对于时效性较高的问题，要求具有监控和通知功能，一旦发现问题，则应立即通知用户（包括邮件、短信等方式），保证数据的时效性。

标签：数据质量管理