操作场景
该任务指导用户在运维场景或业务场景中使用Oozie客户端。
前提条件
- 已安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
- 各组件业务用户由系统管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。
使用Oozie客户端
1.以客户端安装用户,登录安装客户端的节点。
2.执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。
cd /opt/client
3.执行以下命令配置环境变量。
source bigdata_env
4.判断集群认证模式。
- 安全模式,执行以下命令进行用户认证。exampleUser为提交任务的用户名。
kinit exampleUser
- 普通模式,执行步骤5。
5.配置Hue。
a.spark2x环境配置(如果不涉及spark2x任务,可以跳过此步骤):
hdfs dfs -put /opt/client/Spark2x/spark/jars/*.jar /user/oozie/share/lib/spark2x/
当HDFS目录“/user/oozie/share”中的Jar包发生变化时,需要重启Oozie服务。
b.上传Oozie配置文件以及Jar包至HDFS:
hdfs dfs -mkdir /user/ exampleUser
hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples /user/ exampleUser /
说明
exampleUser为提交任务的用户名。
在提交任务的用户和非job.properties文件均无变更的前提下,客户端安装目录/Oozie/oozie-client-*/examples目录一经上传HDFS,后续可重复使用,无需多次提交。
解决Spark和Yarn关于jetty的jar冲突。
hdfs dfs -rm -f /user/oozie/share/lib/spark/jetty-all-9.2.22.v20170606.jar
- 普通模式下,上传过程如果遇到“Permission denied”的问题,可执行以下命令进行处理。
su - omm
source /opt/client/bigdata_env
hdfs dfs -chmod -R 777 /user/oozie
exit