数据治理是逐步实现数据价值的过程,具体来说,数据治理是指将零散的用户数据通过采集、传输、储存等一系列标准化的流程变成格式规范、结构统一的数据,并有严格和规范的综合数据管控;对这些标准化的数据进行进一步加工分析成为具有指导意义的业务监控报表、业务监控模型以帮助业务进行辅助决策。
在数据治理中,涉及到了前端业务系统,后端业务数据库系统再到业务终端的数据分析,从源头到终端再回到源头,形成的一个闭环负反馈系统。同样地,在数据治理中,我们也需要一套标准化的规范来指导数据的采集、传输、储存以及应用。
数据治理包括数据规划、数据采集、数据储存管理、数据应用四个方面。根据每一个方面的特点,我们可以将数据治理总结为四个字,即“理”、“采”、“存”、“用”。
1.理:梳理业务流程,规划数据资源
对于企业来说,每天的实时数据都会超过TB级别,需要采集用户的哪些数据,这么多的数据放在哪里,如何放,以什么样的方式放?这些问题都是需要事先进行规划的,需要有一套从无序变为有序的流程,这个过程需要跨部门的协作,包括了前端、后端、数据工程师、数据分析师、项目经理等角色的参与。
2.采:ETL采集、去重、脱敏、转换、关联、去除异常值
前后端将采集到的数据给到数据部门,数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,目的是将散落和零乱的数据集中存储起来。
3.存:大数据高性能存储及管理
这么多的业务数据存在哪里?这需要有一高性能的大数据存储系统,在这套系统里面将数据进行分门别类放到其对应的库里面,为后续的管理及使用提供最大的便利。
4.用:即时查询、报表监控、智能分析、模型预测
数据治理的最终目的就是辅助业务进行决策,前面的三个方面都是为最终的查询、分析、监控做铺垫。这个阶段就是数据分析师的主场,分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立、业务问题的分析,甚至是模型的预测。
了解完数据治理的四个方面后,让我们得知数据治理给企业带来的巨大好处及价值,但是目前主要难题是数据治理专业人员比较缺乏,持有数据治理证书的专业人士更是少之又少,企业数据治理工作进展比较缓慢,很多数据价值还未得以发掘出来。
为了解决社会对数据管理人才的紧迫需求,规范化数字要素市场,推进政府数据开放共享、提升社会数据资源价值、加强数据资源整合和安全保护三项要求,DAMA中国决定建立一个长期的“数据人才”成长计划,面向个人开展培训认证。
为了便于国内广大数据从业者学习相关认证,DAMA中国以国际数据管理协会(简称“DAMA国际”) DAMA数据管理知识体系为基础,结合国内实际需求,对DAMA国际数据管理专业人员认证( CDMP )的考试语言、考试形式、考试内容、证书类型等进行了适当本地化重构。
重构后认证考试分为数据治理工程师( CDGA )和数据治理专家( CDGP ),DAMA中国承担认证考试命题工作,并定期组织中文考试,对考试通过者由DAMA中国颁发认证证书。证书有效期为三年,获得CDGA认证才能申请CDGP认证考试。
想要了解更多课程资讯或考试信息可以课程老师联系18513851518(同微信)