大数据

大数据与云计算和物联网三者之间有什么关系?

2020-09-08 15:09:50 | 来源:中培企业IT培训网

随着大数据概念的引入,云计算中的分布式计算技术已开始被包含在大数据技术中。 当人们提到云计算时,他们更多地指的是基础IT资源和服务的集成和优化。 以某种方式提供IT资源的业务模型。那么大数据与云计算和物联网三者之间有什么关系呢?想知道这个问题的答案,首先让我们来了解一下大数据与云计算的关系。

  大数据与云计算

从云计算和大数据概念的诞生到现在,二者之间的关系非常微妙,既密不可分,又千差万别。因此,我们不能把云计算和大数据割裂开来作为截然不同的两类技术来看待。此外,物联网也是和云计算、大数据相伴相生的技术。

为解决互联网应用对大规模计算能力、数据存储能力的迫切需求,云计算的概念被提出。云计算是一种分布式计算平台,通过虚拟技术将海量的硬件资源和虚拟资源虚拟成虚拟资源池,并根据需求任务的大小,向虚拟资源池获取相应的计算和存储资源。

在大数据处理的需求下,出现了许多优秀的云计算平台,例如Apache开源的Hadoop、 Google的MapReduce、微软的Dryad等。

在处理格式多样的大数据时,云计算能协调组织众节点,提供廉价的资源和服务,具有较可靠的可扩展性和容错性。然而,对于大规模复杂的应用系统来说,云计算还有诸多的技术问题有待深入研究。

为应对数据密集型服务,云计算提供分布式并行编程技术、分布式并行数据库技术,可通过开源的编程接口和工具来调用服务,其优势是能高效处理结构简单的大数据,但对关系复杂的大数据的处理,在效率和准确率方面还不能令人满意。

大数据技术的目标是解决应用中多源、异构、海量数据的管理和使用问题,但其本身不具备处理大规模数据的存储资源和计算资源的能力,因此必须在已有成熟的技术基础上,引入新的与之相对应的大数据存储和计算平台。

云计算以数据为中心,对大数据集进行处理,并向用户返回高效服务,具有并行化、虚拟化、按需服务等特点。从数据管理角度来说,大数据技术是对数据组织结构的描述,研究重点是数据的查询、更新、索引等操作技术;而云计算则是一种分而治之,按需索取的大数据分布式服务模式。

这两个概念提出的背景都是为满足海量异构数据的组织和管理要求。从相互之间的影响来看,前者为后者提供了广阔的应用背景,后者为前者数据管理提供了存储和计算资源,两者相互促进,相互依存。

  大数据与物联网

随着智能交通、智能家居、智能物流、智慧景区等应用的兴起,物联网已成为未来经济的新增长点。美国、德国、英国、意大利和丹麦等国家争先推出物联网相关发展策略,使物联网规模不断扩大。互联网到物联网的跨越,极大地推动了大数据的发展。

物联网是指把所有物品通过信息传感设备与互联网连接起来,实现智能化识别和管理。它从结构上分为四层,即实体层、感知层、网络层和应用层。其每层都与数据的产生或者处理息息相关。大数据与物联网的结合是机遇与挑战并存。

首先,产生数据的平台多样化。从原来的个人电脑扩展为传感器、智能手机、各种业务系统、平板电脑、监控录像等,这使得感知层需要感知的数据呈现多样化。目前主流的感知技术有视频文字采集技术、红外线技术、传感器技术和蓝牙技术等,但随着感知的数据数量级的不断增加,相应的感知技术也要不断地改进和完善。

其次,物联网技术的局限性。事物的发展需要一个过程,处于发展初始阶段的物联网还受到一些技术的约束。在大数据的传输和处理方面,物联网技术还存在通信距离短、外部环境适应力不强、异构网络兼容性差等问题。传感器链接的距离范围是100米到1000米,不适合长距离的通信;当外部的环境发生变化,传感器的稳定性能大幅度下降,对具有高性能计算存储系统的安全带来风险;物联网的标准是建立在广电网、通信网和互联网等异构网的基础之上,还没有统一完善的标准体系。下面总结一下三者的联系与区别:

  1. 大数据、云计算和物联网的区别

大数据侧重于海量数据的存储、处理与分析,从海量数据中发现价值,服务于生产和生活;云计算本质上旨在整合和优化各种IT资源,并通过网络以服务的方式廉价提供给用户;物联网的发展目标是实现物物相连,应用创新是物联网发展的核心。

  2. 大数据、云计算和物联网的联系

从整体上看,大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算,大数据分析的很多技术都来自于云计算,云计算的分布式和数据存储和管理系统提供了海量数据的存储和管理能力,分布式并行处理框架MapReduce提供了海量数据分析能力,没有这些云计算技术作为支撑,大数据分析就无从谈起。反之,大数据为云计算提供了“用武之地”,没有大数据这个“练兵场”,云计算技术再先进,也不能发挥它的应用价值。

物联网的传感器源源不断产生的大量数据,构成了大数据的重要来源,没有物联网的飞速发展,就不会带来数据产生方式的变革,即由人工产生阶段向自动产生阶段,大数据时代也不会这么快就到来。同时,物联网需要借助于云计算和大数据技术、实现物联网大数据的存储、分析和处理。

好了,关于大数据与云计算和物联网三者之间有什么关系相信大家已经清楚了吧,想了解更多关于大数据的信息,请继续关注中培伟业。