大家都知道当今是大数据互联网时代,但是对于大数据是如何兴起的了解的人却并不多。今天我们就来介绍一下大数据是如何兴起的?在2012年,大数据突然变得流行起来,但大数据的流行并非偶然,而是具备已经成熟发展的条件,才能够破茧而出,展现在我们面前。大数据的出现基于一系列技术发展,经济发展和文化发展。尤其是互联网的发展是大数据发展的最大动力。
大数据需要强大的运算能力
计算机的大脑CPU自从产生以来,就一直在持续提高运算速度。进入新世纪以来,CPU进入了更高速发展的时代,以往可望而不可及的1Ghz大关被轻松突破了。而且单台计算机上还采用多个CPU,每个CPU又是多核,运算能力更强大了,足以及时快速处理大数据。而且CPU的制造成本和售价也在不断下降。
大数据需要快速的运输能力
数据的移动离不得网络。在第二平台期间,网络的速度虽然一直在提高,但远远不能满足海量数据的快速输送。进入新世界以来,万兆网络出现了,大量光纤的投入使用,让整个互联网的传输速度有了质的飞越,让海量数据在网络上传输已经不是什么难题。互联网进入世界各个角落,进入千家万户,还有无线网络等,这些都为数据的方便、快速传输提供了必要条件。而且网络设备的制造成本和售价也在不断下降。
大数据需要大容量的存储能力
大数据是海量数据,需要能容纳海量数据的存储设备存放。磁盘的容量几十年以来也是不断提高,访问速度也是越来越快。目前单个磁盘每秒读写几百MB不成问题,如果采用RAID磁盘组的方式,可以成倍提高读写速度,可以达到每秒读写两个GB,而且还提高了数据的安全性,且能成倍提高存储的数据量。如果再采用几个RAID组,那一台机器每秒能够读写几个GB。SAN、NAS的出现,给大型企业的网络部署解决了很多难题。而很多高端存储设备更是能够安全智能地存储海量数据和快速读写,并能够做到高可用,也就是即使有磁盘坏掉也不要紧,数据依然存在,读写也无需中断。而且存储设备的制造成本和售价也在不断下降。
以上几个方面为大数据的存储、传输、分析计算创造了条件。锅碗瓢盆都有了,柴火油盐也齐了,就差一把米下锅了。没有米,还是什么饭也做不成。没有数据,大数据就是空。
但大数据怎么才能产生出来呢?要知道这是海量数据,不是几个企业,几个人就能够造出来了,它需要所有企业,所有人一起参与制造。要想让这么多企业和这么多人一起参与,就要有条件有动力才行。
企业在激烈的竞争中早已认识到数据信息的重要性,但苦于不知道怎么才能更安全、可靠、低成本地来产生数据、管理数据和利用数据。随着硬件设备(CPU、网络设备、存储设备)能力越来越强、价格越来越低,企业已经能够大量采购使用了。但随着设备的越来越多,投入也是越来越大,管理维护成本也是不断攀升。如何解决这个问题呢?那就是云计算。云计算技术到2010年已经完全成熟,并广泛使用。
云计算就类似于电力的使用。现在是电力公司在建造发电厂,用户只要拉上电线,按照电表每月交电费就可以了,用不着人人都建发电厂。这种按需使用大大降低了成本。云计算也是这个思路,专门的企业来建立云数据中心,里面容纳着巨量的数据计算能力、数据存储能力和数据传输能力。企业和个人用户只要按需租用即可,大大节省了个体成本。现在有公有云,如亚马逊AWS,微软Azure,阿里云。很多大企业还建立了专属于自己的私有云,类似自己建造发电厂,自己使用。还有些大企业既建立自己的私有云王国,又想利用公有云的便利和低成本,于是就有限打通自己的私有云和公有云之间的壁垒,形成了混合云(在这里只是简单地介绍下云计算,以后再专门出贴进行详细介绍)。
硬件成本的快速降低和云计算大大增强了企业的业务能力,也大大催生了企业各类应用系统的使用,这就导致了企业产生了海量数据。
大数据的产生还离不开所有人的参与,否则就形成不了大数据。这个问题随着技术的发展,到2010年前后,这个问题也解决了,那就是移动计算。
什么是移动计算?所谓移动计算实际上就是如何向分布在不同位置的移动用户(包括手提电脑、掌上电脑、移动电话、传呼机等)提供优质的信息服务(信息的存储、查询、计算等)。尤其是智能手机、Pad等的普及,可以说人人都能联网,人人都能参与了。
可这还缺少最后一个条件,如果人们都很保守,不愿意公开自己的想法,不愿意参与社交,那数据量还是不够。
但这已经不是问题了,当历史进入二十一世纪的时候,随着科技和经济的发展,世界经济一体化,人们对外交流也越来越多,跨地区跨国的商务活动、旅游观光、社交活动、网上交流等使人们的眼界越来越开阔,思想也越来越开放,个体意识、自我意识越来越强,参与社交活动的热情十分高涨。我的生活我做主,我是愤青我怕谁。因此数以几十亿计的人们在各种场所、网上网下,畅所欲言,发表看法,留影拍照,导致文字、图片、声音、视频井喷。
这个时候,我们的时代就进入了第三平台时期,它以移动计算、云服务、大数据、社交为主要特征,有数十亿用户参与,有数百万应用程序在运行,产生了无穷无尽的海量数据。
以上就是关于大数据是如何兴起的全部内容,想了解更多关于大数据的信息,请继续关注中培伟业。