当前位置:首页>开发>正文

spark支持的分布式部署方式中哪个是错误的 spark standalone 必须部署hadoop吗

2023-07-03 15:51:04 互联网 未知 开发

 spark支持的分布式部署方式中哪个是错误的 spark standalone 必须部署hadoop吗

spark支持的分布式部署方式中哪个是错误的

目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和
spark on YARN,其中,第一种类似于MapReduce

1.0所采用的模式,内部实现了容错性和资源管理,后两种则是未来发展的趋势,部分容错性和资源管理交由统一的资源管理系统完成:让Spark运行在一个通用的资源管理系统之上,这样可以与其他计算框架,比如MapReduce,公用一个集群资源,最大的好处是降低运维成本和提高资源利用率(资源按需分配)。本文将介绍这三种部署方式,并比较其优缺点。

spark standalone 必须部署hadoop吗

是的。
  1、下载Spark。

  下载的是不含Hadoop的版本:spark-1.6.0-bin-without-hadoop
  2、将spark安装到各机器上的/usr/lib目录下。

  安装后路径为: /usr/lib/spark-1.6.0-without-hadoop
  3、在各机器上创建spark用户,用户组设置为hadoop。

  sudo useradd spark -g hadoop -m

spark gateway怎么部署

SparkR是AMPLab发布的一个R开发包,为Apache Spark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集(RDD)的API,用户可以在集群上通过R shell交互性的运行job。例如,我们可以在HDFS上读取或写入文件,也可以使用 lapply 来定义对应每...

最新文章