大数据

什么是大数据架构以及主要研究方向

2022-09-05 13:57:25 | 来源:中培企业IT培训网
      大数据架构偏重基建和架构,更多注重的是Hadoop、Spark、Storm等大数据框架的实现原理、部署、调优和稳定性问题,以及它们与Flume、Kafka等数据流工具以及可视化工具结合技巧,再有就是一些工具的商业应用问题,如Hive、Cassandra、HBase、PrestoDB等。能够将这些概念理解清楚,并能够用辩证的技术观点进行组合使用,达到软/硬件资源利用的最大化,服务提供的稳定化,这是大数据架构人才的目标。

主要研究方向

架构理论:高并发、高可用、并行计算、MapReduce、Spark等

数据流应用:Flume、Fluentd、Kafka、ZeroMQ等

储存应用:HDFS、Ceph等软件应用:Hive、HBase、Cassandra、PrestoDB等。可视化应用:HightCharts、ECharts、D3、HTML5、CSS3等。

大数据架构师对可视化应用部分要求不高,只需大致了解即可,但其他架构层面、数据流层面、存储层面、软件应用层面等都需要做比较深入的理解和落地应用。至少在每一个层面中挑选一个完全纯属的应用产品。

想要了解更多关于大数据资讯信息,请关注中培伟业李老师二维码:


标签: 大数据架构