hadoop1.x和2.x的区别 hadoop,storm和spark的区别,比较
hadoop1.x和2.x的区别
Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更:
l HDFS的NameNodes可以以集群的方式布署,增强了NameNodes的水平扩展能力和可用性;
l MapReduce将JobTracker中的资源管理及任务生命周期管理(包括定时触发及监控),拆分成两个独立的组件,并更名为YARN(Yet Another Resource Negotiator)。
hadoop,storm和spark的区别,比较
应用场景不同不好比较。一般storm拿来做实时流数据的需求,而spark更适合拿来做离线数据分析。hadoop是生态圈,这里就假设你问的是hadoop核心计算框架mr.sprak和mr都适合拿来做离线数据分析,spark是快启动,在数据量不是非常大的时候(TB级别),spark有较明显的优势。