当前位置:首页>开发>正文

mrv1和yarn的区别

2024-06-29 14:47:36 互联网 未知 开发

mrv1和yarn的区别?

mrv1和yarn的区别

YARN 并不是下一代MapReduce(MRv2)。

下一代MapReduce与第一代MapReduce(MRv1)在编程接口、数据处理引擎 (MapTask和ReduceTask)是完全一样的, 可认为MRv2重用了MRv1的这些模块,不同的是资源管理和作业管理系统,MRv1中资源 管理和作业管理均是由JobTracker实现的,集两个功能于一身,而在MRv2中,将这两部分分开了,。

其中,作业管理由 ApplicationMaster实现,而资源管理由新增系统YARN完成,由于YARN具有通用性,因此YARN也可以作为其他计算框架的资源管理系 统,不仅限于MapReduce,也是其他计算框架,比如Spark、Storm等。

通常而言,我们一般将运行在YARN上的计算框架称为“X on YARN”,比如“MapReduce On YARN”, "Spark On YARN",“Storm On YARN”等。