hadoop生态圈包含哪些系统
hadoop生态圈包含哪些系统?
hadoop生态圈:
1.hdfs:Hadoop分布式文件系统,用来解决机器群存储数据的问题
2.MapReduce:第一代Hadoop计算引擎,分为map和reduce两步操作,很好用,但是很笨重。
3.spark:第二代计算引擎,让map和reduce的界限更模糊,更少的磁盘读写
4.pig:上述计算引擎的MapReduce程序写起来很费劲,类比于汇编语言,pig是接近脚本的方式去描述
5.hive:hive用sql的方式来描述。将sql语言翻译成MapReduce程序。
6.Tez与spark:新一代计算引擎,能解决中低速数据处理的要求。
7.storm:流计算平台。数据一边流,一边统计。
8.zookeeper:分布存取协同系统
9.yarn:中央管理调度系统