如何使用spark将程序提交任务到yarn-Spark-about云 如何使用spark sql访问数据

如何使用spark将程序提交任务到yarn-Spark-about云

使用脚本提交 1使用spark脚本提交到yarn，首先需要将spark所在的主机和hadoop集群之间hosts相互配置（也就是把spark主机的ip和主机名配置到hadoop所有节点的/etc/hosts里面，再把集群所有节点的ip和主机名配置到spark所在主机的/etc/hosts里面如何使用spark将程序提交任务到yarn-Spark-about云

如何使用spark sql访问数据

f(isset($_POST[submit])&&$_POST[submit]==提交){
3 //判断是否是提交过来的
4 $intext = $_POST[intext]
5 if($intext!=null||$intext!=){
6 $link = mysql_connect("localhost", "root", "123456")
7 //数据库配置信息 第一个参数数据库位置第二个是用户名第三个是密码
8 mysql_select_db("szn_test")
9 //设置要使用的数据库
10 $sql = "select * from demo where res = ".$intext.""

如何用spark做矩阵计算

调用jblas来实现的。大矩阵和小矩阵的运算，将小矩阵广播到各个节点，对大矩阵每一行进行map，在节点用Jblas的函数计算向量和矩阵的乘积。大矩阵和大矩阵，将两个矩阵分块乘积，不过矩阵太大速度慢成狗了