用户可将自己开发的大数据应用程序提交到翼MapReduce中,执行程序并获取结果。
本章节以MapReduce作业为例,MapReduce作业用于提交jar程序快速并行处理大量数据,是一种分布式数据处理模式和执行环境。通过此次的指导,希望用户能够对如何在翼MapReduce服务中提交、运行MapReduce作业有清晰的认知。
当前翼MR服务尚不支持通过前台界面化进行作业提交、运行的功能。本次的介绍仅说明如何通过后台功能来提交作业。
通过后台提交作业
天翼云大数据平台 翼MapReduce服务中的大数据集群客户端默认安装路径为“/usr/local/”。
-
登录翼MR管理控制台。
-
选择“集群列表 > 我的集群”,选中一个运行中的集群并单击集群名,进入集群基本信息页面。
-
选择“节点管理”,单击展开节点组,显示节点列表。
-
在目标节点的右侧“操作”列中,单击“远程连接”。
-
在VNC方式新标签页Web页面中,可以看到服务器的命令行界面,类似于Linux服务器登录模式,输入root账号,并输入密码。
-
当前翼MR集群默认都是开启Kerberos认证,大数据集群服务及用户使用到的keytab文件默认放置在“/etc/security/keytabs/”目录下,执行以下命令做Kerberos认证。
kinit 翼MapReduce集群用户
- 进入“/etc/security/keytabs/”目录下,选择你要使用的keytab文件,本文以hdfs.keytab为例,执行如下命令,获取到正确的Principal名称。
klist -kt hdfs.Keytab
- 使用上一步骤获取到的Principal名称,执行如下认证命令。
kinit -kt hdfs.Keytab Principal 名称
- 进入“/etc/security/keytabs/”目录下,选择你要使用的keytab文件,本文以hdfs.keytab为例,执行如下命令,获取到正确的Principal名称。
-
执行如下命令提交pi计算作业。
cd /usr/local/hadoop3/share/hadoop/mapreduce hadoop jar hadoop-mapreduce-examples-3.3.3.jar pi 10 10