1、获取非Spark依赖
从maven中央仓库/华为云仓库等 获取Spark运行所需要的依赖 ,可以从Spark Apache官网获取Spark相关的客户端。
Spark客户端中jars目录包含Spark运行依赖。
Spark 客户端下载地址参考Spark Apache官网。
2、获取Spark-core等Spark依赖
除了通过Spark Apache官网下载客户端获取和maven中央仓库获取有时也可以通过源码打包以获取。
可根据如下命令进行Spark源码打包:
整体打包命令:
./build/mvn -Pyarn -Phive -Phive-thriftserver -DskipTests clean package
单模块打包命令:
./build/mvn -pl :spark-streaming_2.12 clean install