添加Python包后,找不到指定的Python环境
添加Python3包后,找不到指定的Python环境。
可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。
目前,新建集群环境均已默认为Python3环境。
为什么Spark jar 作业 一直处于“提交中”?
Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。
查看队列的的剩余步骤如下:
- 查看队列CU使用量。
点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 - 计算剩余CU量。
队列剩余CU量=队列CU量 - 队列CU使用量。
当队列剩余CU量小于用户提交的CU量,则需要等待资源,才能提交成功。