1.上传waterdrop1.5.1到opt目录
2.解决压缩
3.设置waterdrop的环境变量
4.打开 waterdrop-env.sh
注意:SPARK_HOME的变更设置成CDH6.3.0的spark的目录位置
SPARK_HOME=/opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/spark
5.测试waterdrop,进入此目录,执行
./bin/start-waterdrop-structured-streaming.sh --master local[2] --deploy-mode client --config ./config/structuredstreaming.conf.template
6.查看结果
以上代表环境没有问题。
spark on yarn模式封装使用
提交命令