当前位置:首页>开发>正文

Spark和MapReduce相比,都有哪些优势

2024-06-29 10:01:11 互联网 未知 开发

Spark和MapReduce相比,都有哪些优势?

Spark和MapReduce相比,都有哪些优势

mapreduce是一种编程模型,map是映射,reduce是规约。也就是说,有一批数据,map会将这些数据分成好多片小的数据集,然后进行处理,然后将所有的结果都合在一起到reduce中去处理,只不过spark中不需要像hadoop中那样每次都是强制性的mapreduce了,而是可以灵活地map.map.map.reduce。