spark的web监控端口可否修改 怎么修改spark ssh 端口号

spark的web监控端口可否修改

Spark的Web监控页面
在SparkContext中可以看到如下代码：

首先是创建一个Spark Application的Web监控实例对象：

然后bind方法会绑定一个web服务器：

可以看出我们使用Jetty服务器来监控程序的运行和显示Spark集群的信息的。

怎么修改spark ssh 端口号

1.添加端口 vim /etc/ssh/sshd_config 将#Port 22的注释去掉并且换行加入Port 443 如果是不是增加，而是修改端口的话，建议先保留22端口，等新端口可以登录再去掉。 443其实是https使用的端口，3128是squid使用的端口。建议使用大端口，比如1000...

spark master web ui 能看到些什么信息

1.查看正在运行app的信息
访问master WEB UI ： http://master:8080
然后点击Running Applications 下Application ID或者Name查看信息

2.查看运行完成app的信息
按照上面在master WEB UI中的操作方法访问
会产生报错内容：

点击(此处)折叠或打开
No event logs were found for this application! To enable event logging, set spark.eventLog.enabled to true and spark.eventLog.dir to the directory to which your event logs are written.
解决办法：按照报错内容
（1）在$SPARK_HOME/conf中的创建spark-defaults.conf

点击(此处)折叠或打开
cp spark-defaults.conf.template spark-defaults.conf
然后在spark-defaults.conf中添加如下数据

点击(此处)折叠或打开
spark.eventLog.enabled=true

spark.eventLog.dir=/tmp/
（2）切换到/tmp/目录下，看有没有spark-events文件夹

点击(此处)折叠或打开
sudo mkdir spark-events

sudo chmod 777 spark-events
经过以上操作之后就可以像查看正在运行app一样在web ui查看已完成app的执行过程的详细信息

3.总结
（1）创建好事件的log信息，并设置好路径，就可以通过spark的web driver来访问已完成app的详细信息
（2）注意在写的spark python 程序结束时，执行sc.stop() 来完成app
（3）此方法使用在standalone mode下，若在其他模式下，可通过执行脚本$SPARK_HOME/sbin/start-history-server.sh 实现

4.参考链接：
http://apache-spark-user-list.1001560.n3.nabble.com/Spark-webUI-application-details-page-td3490.html
http://apache-spark-user-list.1001560.n3.nabble.com/Viewing-web-UI-after-fact-td12023.html

spark 源码入口类是哪个类

写Linux脚本
#!/bin/sh
if [ $# -lt 2 ] then
echo "Useage:$0 $1 "
exit
else
echo "wordcount is starting!"
spark-submit
--master spark://spark:7077
--class WordCount
--executor-memory 512m
--total-executor-cores 6
~/input/WordCount.jar
"$1"
"$2"
echo "wordcount is stopped!"
fi
象