当前位置:首页>开发>正文

现在学习hadoop1.0还有用吗 hadoop和spark是什么关系啊

2024-01-08 09:43:01 互联网 未知 开发

 现在学习hadoop1.0还有用吗 hadoop和spark是什么关系啊

现在学习hadoop1.0还有用吗


没有,不过可以学习原理。
下面是之前的hadoop2还不稳定时候的看法:
当我们决定是否采用某个软件用于开源环境时,通常需要考虑以下几个因素:
(1)是否为开源软件,即是否免费。
(2) 是否有稳定版,这个一般软件官方网站会给出说明。
(3) 是否经实践验证,这个可通过检查是否有一些大点的公司已经在生产环境中使用知道。
(4) 是否有强大的社区支持,当出现一个问题时,能够通过社区、论坛等网络资源快速获取解决方法。
考虑到以上几个因素,我们分析一下开源软件Hadoop。对于Hadoop 2.0而言,目前尚不稳定,无法用于生产环境,因此,如果当前你正准备使用Hadoop,那么只能从Hadoop 1.0中选择一个版本,而目截至目前(2012年12月23日),Apache和Cloudera最新的稳定版分别是Hadoop 1.0.4和CDH3U4,因此,你可以从中任选一个使用。

由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。

hadoop和spark是什么关系啊?

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
优势应该在于分布式架构比较相似能快速上手吧

学习spark还需要学习hadoop吗

理论上来讲,学习spark和storm是不需要学习hadoop的。spark和storm都是独立的开源项目,在完整性上是self-constrained的,完全可以独立学习。从循序渐进的角度,还是可以了解一下hadoop的,以spark为例,理解了hadoop的mapreduce,知道它的缺陷,才能更好的理解spark的优势和最佳的应用场景,毕竟很多开源项目都是站在hadoop的肩膀上来的。Good luck!

最新文章