如何搭建Spark集群 如何运行Spark集群的Standalone模式

如何搭建Spark集群

1，先安装Vmware，然后在vmware上安装两三台ubuntu系统。
2，安装JDK

3，安装Hadoop分布式系统
4，安装Scala
5，安装和部署spark集群。
具体的详细信息，你可以查找 spark实战高手之路，免费的电子书，有详细的配置信息，希望能帮助到你。

如何运行Spark集群的Standalone模式

Spark集群有三种运行模式：Standalone、Mesos和YARN模式。

现在说Standalone模式。这是最简单的模式，Spark靠自己就能运行这个模式(不依靠其它集群管理工具)。

方法一：手动运行Standalone模式。
前提：Spark各个文件都不做任何修改。
1、在master机器上运行 ./sbin/start-master/sh
运行完之后，会打印出url: spark://HOST:PORT ，这个就是当前master的Spark URL。
2、在slave机器上运行 ./sbin/start-slave.sh 然后在Master的管理界面上查看http://master-ip:8080，查看slave是否已上线。 方法二：使用集群运行脚本运行Standalone模式。 前提：master节点去访问slave节点需要使用ssh无密码登录，因此需要提前配置无密码登录。 1、在master的conf文件夹下新增slaves文件。slaves文件里存放着每一个slave节点的hostname，每行一个。 2、在master节点上运行如下脚本即可

spark streaming怎么操作redis集群

通过Sparkstreaming读取kafka上topic为“huawei”的数据，分析完成后，将分析结果的key-value以redis的setString方式写到redis集群。
1. 只是采用redis的setString接口，写分析结果的key-value信息。仅是一个简单实例，其他更复杂逻辑请另外完成。
2. 在操作本样例之前，请先跑通原先的FemaleInfoCollectionPrint场景。