当前位置:首页>开发>正文

hadoop生态圈包含哪些系统

2023-05-05 16:26:35 互联网 未知 开发

hadoop生态圈包含哪些系统?

hadoop生态圈包含哪些系统

hadoop生态圈:

1.hdfs:Hadoop分布式文件系统,用来解决机器群存储数据的问题

2.MapReduce:第一代Hadoop计算引擎,分为map和reduce两步操作,很好用,但是很笨重。

3.spark:第二代计算引擎,让map和reduce的界限更模糊,更少的磁盘读写

4.pig:上述计算引擎的MapReduce程序写起来很费劲,类比于汇编语言,pig是接近脚本的方式去描述

5.hive:hive用sql的方式来描述。将sql语言翻译成MapReduce程序。

6.Tez与spark:新一代计算引擎,能解决中低速数据处理的要求。

7.storm:流计算平台。数据一边流,一边统计。

8.zookeeper:分布存取协同系统

9.yarn:中央管理调度系统