大数据

非结构化数据的数据质量管理

2018-05-02 16:16:06 | 来源:中培企业IT培训网

7.3  非结构化数据的数据质量管理

非结构化数据由于格式和内容的多样性,一般不会直接用于分析,即单个非结构化数据难以产生价值。只有将非结构化数据的相关元数据(或标签)、主要内容抽取出来,并以类似结构化数据存储后,才能发挥价值。因此,非结构化数据的质量管理主要在于提升数据可用度,一般通过对数据的清洗、映射、关联等机制,把繁杂的大数据变成能应对的、有效的“小数据”,构建干净、完备的数据集,从而提高数据质量。

1)通过清洗规则库识别并标识出非结构数据的可疑或无效信息,必要时可结合数据生命周期管理策略及时清理。

2)通过与相关的数据标准进行映射,将非结构化数据的“基本属性”转换为商业银行的标准信息进行存储(如将“建行”  “建设银行”  “中国建设银行”等转换成标准代码JGOO01),并作为结构化数据存储在系统中。

3)通过关键信息与商业银行其他结构化数据进行关联(如通过客户姓名、手机号等辨识其是否为本行客户),提高非结构化数据入库质量和数据价值。

标签: 数据质量管理