大数据

对云上数据开发应用的探讨

2016-09-08 14:34:32 | 来源:中培企业IT培训网

云计算的推广和应用,让人们开始生活在云的世界里。随着云计算技术应用的日益广泛,云上数据开发应用也越来越成为该领域关注的重点。对于云上数据开发和应用,中培伟业《云计算与虚拟化最佳实践》杨老师也谈了自己的观点。

杨老师表示,云上数据开发已经成为云计算领应用技术的发展方向,如何做好云计算的开发应用,将直接关系到云计算在世界发展的前景。

杨老师表示,大数据和云计算已被视为一体两面,但在云上开发大数据应用并非易事。在进行云上开发大数据应用之前,首先应该了解其关键要素。

云上大数据分析系统可以分成三个关键要素去考虑:

1. 分析的类型。根据信息密度和信息质量,需要选择不同的分析服务。如银行交易数据是高质量的信息,可以使用成熟的MPP RDBMS和自带列存储、机器学习库的库内分析技术,但像日志、用户行为是低质量的信息,数据量非常大,但是它的信息密度是不高的,可以考虑具有高可扩展能力的廉价集群存储,像NoSQL Database,并用企业级的SparkHadoop服务进行分析操作。

2. 数据传输效率。把数据上传到云端,低密度数据的传输可能存在效率的问题,需要高速的端到云的传输技术,具有高压缩比、高并发和高效传输协议的传输服务。

3. 数据存储类型选择,包括随机对象存储,大对象的存储,本地盘和远程存储,和存储的性价比。在云平台上可以考虑有的数据做离线计算,对于低活跃度的数据可以使用大对象存储。例如SwiftS3等。对于在线分析,需要IO吞吐率比较高,使用传输效率更好的本地SSD存储、或者挂载外部SANiSCSI等阵列。

中培伟业作为国内领先的IT培训与咨询机构,在云计算应用方面拥有非常专业的培训实力。中培精心打造的《云计算与虚拟化最佳实践》课程自开设以来,培养了一大批云计算应用方面的精英人才,深受学员的认可和同业的尊重。下一期培训时间:将于21--24日在 北京,12月18--21日在 厦门 举行,目前学员正火热招募中,欢迎广大云计算应用人才踊跃报名参加!

标签: 云计算