用户可将自己开发的程序提交到翼MR中,执行程序并获取结果。本章节教您在翼MR集群后台如何提交一个新的SparkSQL作业。SparkSQL作业用于查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句涉及敏感信息,请使用Spark Script提交。
前提条件
用户已经将运行作业所需的程序包和数据文件上传至HDFS系统中。
通过后台提交作业
例如安装路径为“/usr/local/spark3”。具体以实际为准。
-
登录翼MR管理控制台。
-
选择“我的集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
-
在“节点管理”页选中单击Master节点,选择要进入的Master节点。
-
单击该节点右侧的“远程连接”。
-
根据界面提示,输入Master节点的用户名和密码,用户名、密码分别为root和创建集群时设置的密码。
-
集群默认开启Kerberos认证,执行以下命令认证当前用户.
示例: klist -kt /etc/security/keytabs/spark.keytab 获取spark.keytab的principalname kinit -kt /etc/security/keytabs/spark.keytab spark.keytab的principalname
-
打开spark-sql命令行,进入spark-sql命令行后可执行SQL语句,执行命令如下:
cd $SPARK_HOME ./bin/spark-sql --conf spark.yarn.principal=default
若需要执行SQL文件,需要上传SQL文件(如上传到“/opt/”目录),上传文件后执行命令如下:
cd $SPARK_HOME
./bin/spark-sql --conf spark.yarn.principal=default -f /opt/script.sql