spark-jobserver怎么部署安装 安装spark 需要安装scala吗

spark-jobserver怎么部署安装

SparkR是AMPLab发布的一个R开发包，为Apache Spark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集（RDD）的API，用户可以在集群上通过R shell交互性的运行job。例如，我们可以在HDFS上读取或写入文件

安装spark 需要安装scala吗

安装spark
tar -zxvf spark-1.3.0-bin-hadoop2.3.tgz
mkdir /usr/local/spark
mv spark-1.3.0-bin-hadoop2.3 /usr/local/spark

vim /etc/bashrc
export SPARK_HOME=/usr/local/spark/spark-1.3.0-bin-hadoop2.export PATH=$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

source /etc/bashrc

cd /usr/local/spark/spark-1.3.0-bin-hadoop2.3/conf/
cp spark-env.sh.template spark-env.sh

怎么测试spark是否成功安装

启动Spark集群，启动后的WebUI如下

启动Spark Shell

Web控制台查看shell的情况

把Spark安装目录“README.md”拷贝到HDFS系统上在Master节点上新启动一个命令终端，并进入到Spark安装目录下

把文件拷贝到HDFS的root文件夹下

观察一下Web控制台，会发现该文件已经成功上传到HDFS上

在Spark shell之下操作编写代码，操作我们上传的“README.md”