用户可将自己开发的程序提交到翼MR中,执行程序并获取结果。
前提条件
用户已经将运行作业所需的程序包和数据文件上传至HDFS系统中。
通过后台提交作业
例如安装路径为“/usr/local/spark3”。具体以实际为准。
-
登录翼MR管理控制台。
-
选择“我的集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
-
在“节点管理”页选中单击Master节点,选择要进入的Master节点。
-
单击该节点右侧的“远程连接”。
-
根据界面提示,输入Master节点的用户名和密码,用户名、密码分别为root和创建集群时设置的密码。
-
集群默认开启Kerberos认证,执行以下命令认证当前用户。
示例: klist -kt /etc/security/keytabs/spark.keytab 获取spark.keytab的principalname kinit -kt /etc/security/keytabs/spark.keytab spark.keytab的principalname
-
执行如下命令运行计算圆周率作业。
spark-submit --master yarn --deploy-mode client --queue default --class org.apache.spark.examples.SparkPi /usr/local/spark3/examples/jars/spark-examples_2.12-3.2.2.jar 100