当前位置:首页>开发>正文

hadoop1.x和2.x的区别 hadoop,storm和spark的区别,比较

2023-06-26 22:39:31 互联网 未知 开发

 hadoop1.x和2.x的区别 hadoop,storm和spark的区别,比较

hadoop1.x和2.x的区别

Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更:
l HDFS的NameNodes可以以集群的方式布署,增强了NameNodes的水平扩展能力和可用性;
l MapReduce将JobTracker中的资源管理及任务生命周期管理(包括定时触发及监控),拆分成两个独立的组件,并更名为YARN(Yet Another Resource Negotiator)。

hadoop,storm和spark的区别,比较

应用场景不同不好比较。一般storm拿来做实时流数据的需求,而spark更适合拿来做离线数据分析。hadoop是生态圈,这里就假设你问的是hadoop核心计算框架mr.sprak和mr都适合拿来做离线数据分析,spark是快启动,在数据量不是非常大的时候(TB级别),spark有较明显的优势。

最新文章