如何使用组件客户端?
- 以root用户登录任意一个Master节点。
- 执行su - omm命令,切换到omm用户。
- 执行cd 客户端安装目录 ,切换到客户端。
- 执行source bigdata_env命令,配置环境变量。如果当前集群已启用Kerberos认证,执行kinit 组件业务用户认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
- 环境变量配置成功后,即可执行组件的客户端命令。例如查看组件的相关信息,可执行HDFS客户端命令hdfs dfs -ls /查看HDFS根目录文件。
集群支持提交哪些形式的Spark作业?
在翼MR后台中,集群支持提交Spark、Spark Script和Spark SQL形式的Spark作业。
翼MR集群的计算资源最大值为0后,还可以跑Spark任务吗?
翼MR集群的租户计算资源最大值改为0后,不可以跑Spark任务。
Spark作业的Client模式和Cluster模式有什么区别?
理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念:Application Master。
在YARN中,每个Application实例都有一个ApplicationMaster进程,它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源,获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别。
YARN-Cluster模式下,Driver运行在AM(Application Master)中,它负责向YARN申请资源,并监督作业的运行状况。当用户提交了作业之后,就可以关掉Client,作业会继续在YARN上运行,因而YARN-Cluster模式不适合运行交互类型的作业。
YARN-Client模式下,Application Master仅仅向YARN请求Executor,Client会和请求的Container通信来调度工作,也就是说Client不能离开。
如何关闭ZooKeeper的SASL认证?
- 登录翼MR Manager。
- 选择“集群服务 > ZooKeeper > 配置管理 ”。
- 在左侧导航栏选择“配置组 > zoo.cfg”,然后,选择该配置文件右上角的“+”号,添加参数名称:zookeeper.sasl.disable,再添加参数值:false。
- 在左侧导航栏选择“配置组 > 同步”,执行配置同步工作。
- 重启ZooKeeper服务。
在翼MR集群外客户端中执行kinit报错“Permission denied”如何处理?
问题现象
在翼MR集群外节点上安装了客户端后并执行kinit命令报错如下:
-bash kinit Permission denied
执行java命令正常如下:
-bash: /xxx/java: Permission denied
执行 ll / java安装路径 /JDK/jdk/bin/java命令查看该文件执行权限信息正常。
原因分析
执行mount | column -t查看挂接的分区状态,发现java执行文件所在的挂载点的分区状态是“noexec”。当前环境中将安装翼MR客户端所在的数据盘配置成“noexec”,即禁止二进制文件执行,从而无法使用java命令。
解决方法
- 以root用户登录翼MR客户端所在节点。
- 移除“/etc/fstab”文件中翼MR客户端所在的数据盘的配置项“noexec”。
- 执行umount命令卸载数据盘,然后再执行mount -a重新挂载数据盘。