在当今的大数据时代,不仅IT(互联网)行业的人们需要了解与大数据相关的知识,传统行业的从业人员和普通大学生还应该了解大数据的知识,这些知识是由工业驱动的下,互联网和新的基础设施的计划。未来,大数据技术将得到全面应用,大数据还将重塑整个产业结构。那说了这么多大数据,到底什么是大数据呢?通俗的说,大数据即为海量数据。
什么是大数据?
了解大数据首先要从大数据的概念开始,不同于人工智能概念,大数据概念还是相对比较明确的,而且大数据的技术体系也已经趋于成熟了。解释大数据概念,可以从数据自身的特点入手,然后进一步从场景、应用和行业来逐渐展开。
大数据自身的特点往往集中在五个方面,分别是数据量、数据结构多样性、数据价值密度、数据增长速度和可信度,对于这五个维度的理解和认知,是了解大数据概念的关键。当然,随着大数据技术的发展和在行业领域的应用,关于数据自身的维度也有了一定程度的扩展,这些扩展本身也是对大数据概念的一种丰富和完善。
数据量大是大数据的一个重要特征,但是数据量本身是一个汇集的概念,并不是只有很大的数据才称为大数据,传统信息系统所产生的“小数据”也是大数据的一个重要组成部分,这一点一定要有清晰的认知。当前从大数据的数据来源来看,主要集中在三个渠道,包括互联网、物联网和传统信息系统,物联网数据当前占据的比例比较大,相信在5G时代,物联网将依然是大数据的主要数据来源。
数据结构多样性是大数据的另一个重要特点,不同于创新信息系统(ERP)当中的数据,大数据的数据类型是非常复杂的,既有结构化数据,也有非结构化数据和半结构化数据,这对于传统的数据处理技术提出了巨大的挑战,这也是推动大数据技术产生的一个重要原因。在工业互联网时代,大数据的数据结构多样性会进一步得到体现,这对于数据价值化过程也提出了新的挑战。
数据价值密度往往是衡量数据价值的重要基础,相对于传统的信息系统来说,大数据当中的数据价值密度是比较低的,这就需要有更快速和便捷的方式,来完成数据的价值化提取过程,而这也正是当前大数据平台所关注的核心能力之一。实际上,早期的Hadoop、Spark平台之所以能够脱颖而出,一个重要的原因就是其数据处理(排序)速度比较快。
数据增长速度快是大数据的另一个重要表现,通常传统信息系统的数据增量是可以预测的,或者说增长速度是可控的,但是在大数据时代,数据增长速度已经大大突破了传统数据处理所能承载的极限。数据增长是一个相对的概念,相对于消费互联网来说,产业互联网所带来的数据增量可能会更加客观,因此产业互联网时代会进一步打开大数据的价值空间。
最后,大数据还有一个特点就是数据本身的真实性,大数据时代所带来的一个重要副作用就是数据真假难辨,这也是当前大数据技术所要重点解决的问题之一。从当前大型互联网平台所采用的方法来看,通常是技术和管理相结合的方式,比如通过为用户认证就能够解决一部分数据的真实性(专业性)问题。
什么是大数据通过上述介绍,相信大家已经清楚了吧,想了解更多关于大数据的信息,请继续关注中培伟业。