大数据

大数据对现在,过去和未来的影响

2020-07-21 15:23:57 | 来源:中培企业IT培训网

众所周知,如今是大数据时代。但是对于大数据何时进入我们的生活,更重要的是,什么原因导致大数据如此普及?大数据流行背后的原因是什么?在本文中,我们将重点介绍大数据对现在,过去和未来的影响,以更好地评估对大数据的需求增长,并因此尝试说明大数据是流行语还是实际的机会媒介。实际上,我们从大数据历史中看到的是,在“大数据”一词获得显着发展之前,就已经存在一些大数据功能。但是直到某个时间点才对它有足够的需求。

本文的其余部分将重点放在时间上的某些点上,以了解那里具有哪些大数据能力,但很少使用。然后我们将重点关注显示大数据需求实际上已经并且可能会快速增长的重要因素。

  大数据的过去时光

大多数时候,您会看到大数据空间的历史始于Google于2003年左右撰写的GFS论文。在2006年左右,我们第一次看到Hadoop。但是,尽管大数据的历史可能是最重要的里程碑之一,但事实并非完全如此,尽管这可能是GFS论文的起点。至少到现在为止!

CAP定理是一个已经存在了一段时间的例子,并且也存在于GFS论文之前。CAP定理在大数据领域仍然很重要,而且非常重要。

  CAP定理

CAP定理实际上非常简单:

在一致性,网络分区和可用性这三个支柱中; 您只能同时选择两个。(见上图)

您不能一次拥有所有三个。

不要失去围绕本文的重点;我们将不会详细解释CAP定理的工作原理,因为这需要进一步的详细技术说明。我们宁愿关注CAP定理的影响。

大数据平台显然是分布式的。假设在大数据环境中必须进行网络分区,那么选择就变得很明确: 在一致性和可用性之间进行权衡。

让我们先来看两个基本示例,以便在专注于有关CAP定理的思想首次出现时更好地理解“权衡”:

范例1:

让我们考虑一个金融大数据系统,该系统为客户提供一定的信息环境。提供给客户的信息很可能需要财务系统非常精确。因此,这类系统很可能会希望内容一致而不是始终可用。考虑一个场景,一个客户一个接一个地登录两个不同的渠道来检查他/她的帐户。毫无疑问,与始终具有高可用性并且同时极有可能显示不一致的帐户详细信息相比,最好始终显示相同且正确的帐户详细信息,并且始终不具有高可用性。

范例2:

与上述相反,让我们考虑一个娱乐系统。娱乐系统可能希望始终可用,而不是确保内容在所有分区上都是一致的。因此,这次与始终保持一致相比,偏好可能是可用的。

  CAP定理是什么时候首次引入的?

在1998年左右提出了CAP定理的想法,例如在GFS文件之前5年,MapReduce文件之前6年,第一个Hadoop版本之前8年,第一个HBase版本之前9年。但是,直到2002年才被接受为有效定理。每当我们决定要使用哪种存储选项时,都应再次访问该定理。因此,至少部分人已经知道分区容忍之类的大数据概念有多重要以及可用性和一致性。

仅在2006年之后,大数据域的普及才开始飙升,这明确表明,早在1998年,只有一小部分观众对大数据感兴趣。像CAP这样的重要定理在发布四年后才引起关注,并成为一个实际定理。CAP定理已受到关注,其重要性是毋庸置疑的。甚至想干认识也在其博客中也发表了有关CAP定理的文章。有关大数据的重要定理开始受到广泛关注的事实表明了大数据的重要性。

  大数据需求持续急剧增长

数据是数据管理系统的重要组成部分。换句话说,对大数据的需求肯定已经增加,有关大数据的定理,白皮书也符合这一基本原理。

让我们从另一个角度看待需求的增长。一个简单的大数据定义是3分比(尽管有额外Vs的比其他三个,让我们把重点放在三种为简单起见): 数量,速度和品种。该卷的数据仅仅指的是一个事实,即量能的大数据平台内大于将是传统的数据管理系统的情况。 数据的 速度是指大数据平台既可以处理移动数据(流数据,例如纽约的实时交通数据)又可以处理静态数据。例如报告层事实维度的事实,涉及各种数据。例如,结构化数据,Web日志,传感器数据,视频等。

大数据又是另一个关键词,答案很简单: Data可以肯定的是,数据量/种类/速度将在不久的将来增长。

  现在,让我们选择以下三种数据之一:

IDC发表的一篇文章预测,到2020年,以电子方式存储的数据总量约为44ZB,2013年则为4.4 ZB。考虑 到7年内的十倍增长, 并且知道该增长呈指数级增长,可能很难预测 从现在起15年后电子化存储的数据量。在花点时间进行短暂震惊之前,我们还必须记住另一项尚未充分发挥作用的巨大影响-到目前为止只是短暂的-物联网。生成的大多数企业数据都集中在人身上,换句话说,就是从个人之间的互动中生成的数据。随着物联网的广泛使用在未来几年变得越来越普遍,我们将能够从物联网中捕获更多的细粒度和丰富的数据,因为事物既可以与人互动,也可以与其他事物互动。在智能家居,智能制造,智能交通,医疗保健等许多领域,我们对物联网的未来有着漫长而令人兴奋的道路。

总结一下; 我们可以清楚地看到大数据需求增加与CAP定理,大数据白皮书,数据量/种类/速度增加之间的因果关系。这些关键主题表明,大数据已经并将继续成为破坏性技术之一。

  破坏性技术–奇异性

CAP定理,白皮书和3V的另一个观点是,它们都链接到严重依赖数据的破坏性技术。

听说过术语“奇异性”吗?简单的说;奇异性是技术进步给我们带来的根本变化。随着数据的增长和AI技术的进步,我们可能已经开始在较短的生命周期中经历奇异时刻。技术进步加速比以往任何时候都高。未来看到了更多的破坏性技术,而且它正在迅速关闭!

您的组织是否准备好应对从未经历过的,比以往更大的变革?

如果正确使用,大数据将带来许多机会。大数据不仅是这种低成本(每字节成本最低)的数据存储平台,而且还带来了新的用例可能性。 使用传统技术实施的案例非常复杂或成本很高,现在可以在大数据领域轻松实现。大数据涵盖了广泛的用例,这些用例主要集中在高级分析,人工智能,机器/深度学习以及具有高计算能力和廉价存储能力以及能够获取/处理/存储结构化/非结构化,批处理/流数据。

另外,可以清楚地看到,大数据用例的主要优点之一是它们通常是新的业务用例。以前从未实现过的用例。甚至想到与传统的用例相比,大数据用例可以带来更多的价值,这是令人兴奋的。

  未来愿景

未来肯定会受到我们目前正在经历的数据增长期的影响。此外,数据增长仍将继续加速,并且开始趋于平稳的时间只是目前的预测。随着竞争力的提高和对组织更快达到业务成果的更高期望,数据将发挥至关重要的作用。能够将其转化为收益的组织将通过基于新大数据的用例中涌现的新业务模型获得竞争优势。无法跟上大数据并且迟到的组织很有可能最终也会走向大数据。但是这一次优势的竞争性质将不再有效。

大数据对现在,过去和未来的影响介绍到这里就结束了,想了解更多关于大数据的信息,请继续关注中培伟业。