用户可将自己开发的程序提交到翼MR中,执行程序并获取结果。
前提条件
用户已经将运行作业所需的程序包和数据文件上传至HDFS系统中。
通过后台提交作业
例如安装路径为“/usr/local/hadoop3”。具体以实际为准。
-
登录翼MR管理控制台。
-
选择“我的集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
-
在“节点管理”页选中单击Master节点,选择要进入的Master节点。
-
单击该节点右侧的“远程连接”。
-
根据界面提示,输入Master节点的用户名和密码,用户名、密码分别为root和创建集群时设置的密码。
-
集群默认开启Kerberos认证,执行以下命令认证当前用户。
示例: klist -kt /etc/security/keytabs/hdfs.keytab 获取keytab的principalname kinit -kt /etc/security/keytabs/hdfs.keytab_x0005_ keytab的principalname
-
执行如下命令运行Example的wordcount作业。
hadoop jar /usr/local/hadoop3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.3.3-tests.jar TestDFSIO -Ddfs.replication=1 -write -nrFiles 100 -fileSize 100MB