大数据

大数据分析要经历几个阶段?

2020-09-27 16:10:38 | 来源:中培企业IT培训网

近年来,大数据和增长黑客等概念已在Internet行业中广泛传播,并且数据分析思想变得越来越流行。作为Internet上最前沿的产品经理,他们已经接触到许多产品数据和用户数据。使用它来增强业务能力已经成为人们讨论的热点。那么大数据分析要经历几个阶段?大数据分析至少存在三个阶段:熟悉计算工具阶段、提升分析能力阶段和形成思维方式阶段。

  大数据分析要经历几个阶段?

  阶段1:熟悉计算工具

第一个阶段是熟悉计算工具阶段,也就是能从数据中正确计算出结论。这一阶段需要的是编程能力和基础的逻辑分析。在这个阶段,需要打好基本的编程和数理基础,比如如何使用一种编程语言从某个数据源中提取数据,进行必要的转化,生成一个结果。在这个阶段,我经常认为数据分析就是编程。那时也对编程和数据分析产生很大的畏难情绪,觉得自己离学好编程、使用好各类工具的状态有很大差距。

同时,我也对如何分析数据感到一筹莫展。虽然在学校课堂和各类网络教程中学过很多编程方面的技术,也能够看懂一些别人的程序,但是对于一个崭新的问题,我不知道使用哪种工具,编写什么样的程序,进行哪些方面的分析。

处在这个阶段,我认为主要因为自己的编程经验停留在“学”上,还没有过度到“用”的境界。只能说学会了一些工具(比如编程语言),但是不知道如何应用。另一方面,自己的实战经验太少,没有实战经验,只学习一些表面的皮毛,出去忽悠一些非科班的人还像模像样,但是真正让我去做一个新案例的数据挖掘和分析,我可能完全不知如何入手。

在这个阶段,我们一方面需要打磨自己的编程能力,另外一方面也不断学习一些数学模型,包括各类机器学习算法、概率论等。

  阶段2:提升分析能力

随着对编程工具的熟悉,比如开始熟悉了Shell、SQL、Python、大数据等,我发现使用工具不一定能得出特别好的结论。

经济学有一个关于啤酒和尿不湿的例子:沃尔玛一家分店的营销经理对超市的销售数量进行设定跟踪,有一次他发现了一个很奇怪的现象:啤酒与尿不湿的销量在周末总会出现成比例增长。主要因为爸爸们周末采购时,买完尿不湿想顺手捎带几瓶啤酒。

其实,获取到这个数据并不难,但原始数据中绝对没有这个现成的结论。进行数据分析的第一步是找到一个方向,先看看哪些潜在的假设能够解释现象。比如,这个例子中,沃尔玛对销售数据做相关性分析。数据是死的,是躺在硬盘中的一堆字符。如果没有一个基本的假设或者方向,即使有再强大的编程能力,也很难得出一个观点或结论。

这时候我们能够看懂很多数据分析的报告,能够开始建立起数据之间的联系。如果有一些高人指点,加上实战练习,在数据分析上可以有茅塞顿开般的提升。

很多入门和初学者基本上都停留在第一阶段和第二阶段的初级水平。一部分人在这个阶段做大量重复性的工作,多年可能没有任何进步,无法进入到下一阶段。

  阶段3:形成思维方式

说实话,以前我认为现代社会发展变化太快,新事物层出不穷,经验不值一提。但是接触了越多的大牛,我开始发现这些人的经验才是他们安身立命之本。经验不局限于数据、工具或者技术,经验是逐渐培养起来的,是分析问题的思维方式。金庸在他的武侠系列中一直强调内功的重要性,经验就是这样的内功。

数据分析的最后一个阶段,一般是团队的领导需要达到的水平。由于团队的领导一般具有多年的实战经验,他们可以很快发现问题。当我还是小白的时候,我发现团队的领导几乎天天都在看数据,每次开会都在讨论数据,从一张数据图中他们可以很快发现一些问题,面对新问题,他们也有很多解决思路和探索方向。而且,这里的团队领导不仅限于技术团队,包括产品或者运营相关团队的领导也对数据有很强的敏感性。比如,在与产品沟通的通气会上,产品团队的领导经常抓住数据可疑点,让我们技术团队来解释背后的原因。我非常震惊,为什么非技术出身的他们,也能找到一些问题的关键。再到后来,我发现不仅仅是互联网行业,各行各业的佼佼者都对数据非常敏感,都有一套问题求解的思路。比如,我之前以疫情分析为例的那篇文章疫情分析是最好的实战教材中列举了一些作者,他们分析问题的能力都值得我们学习,实际上他们并不都是100%的技术背景出身。

上述就是关于大数据分析要经历几个阶段的全部内容介绍,想了解更多关于大数据的信息,请继续关注中培伟业。