大数据

在技术层面制定相应的规范和手册

2018-05-02 14:31:48 | 来源:中培企业IT培训网

1.规范与制度体系

“没有规矩不成方圆”,要做好数据质量管理工作,首先要有明确的理论指导和约束,因此规范和制度先行是极其有必要的。

规范制度应该是普遍适用的,可以有效指导数据质量管理工作,包括明确不同成员的职责与工作方法,从而有效推动数据质量问题的主动规避、发现和治理。

(1)在技术层面制定相应的规范和手册

1)制定相应的管理规范。技术层面上,应完整全面地定义数据质量评估维度,包括完整性、时效性、唯一性、正确性等。按照已定义的维度,在系统需求阶段、设计阶段、开发阶段、测试阶段、运行阶段都应根据实际情况设计数据质量检查规则,用于发现各阶段的数据质量问题,以及时进行治理。

根据业界成果理论,数据质量评估维度的具体内容见表7-1。

注:“是否自动核查”是指能否通过系统自动检查的手段监测数据质量问题。

基于以上维度,在规范中应明确以下内容:

》明确涉及数据质量的设计要求,从事前控制问题的发生,包括在系统设计、功能设计时充分考虑可能发生的问题。

》明确相应的逻辑原则,通过应用系统控制,从事件过程中矫正可能发生的数据质量,包括技术上的逻辑和业务上的逻辑。

》明确如何检查数据质量问题,从事后及时发现问题并予以解决。

标签: 数据质量管理