当前位置:首页>开发>正文

pyspark安装方式有哪几种在线安装

2023-05-24 22:49:20 互联网 未知 开发

pyspark安装方式有哪几种在线安装?

pyspark安装方式有哪几种在线安装

学习spark接近1年,从事spark的工作1个多月了。建议多练习,建议用scala,除非熟悉python,我用的是pyspark,环境上坑挺多的,比方说经常需要用到jar包,scala和java可以直接import,python不行。

部署java用maven打包 ,scala用sbt打包 ,,python你还要单独在集群上安装依赖。建议搭个集群模或者github上找些docker compose直接安装集群。

搭环境,rdd操作,submit部署流程学会差不多就算入门

最新文章