如何查看所有集群?
MRS所有的集群都展示在“集群列表”页面中,进入“集群列表”页面,可查看所有集群。集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。
- 现有集群:包括除了“失败”和“已删除”状态以外的所有集群。
- 历史集群:仅包含“已删除”状态的集群,目前界面只显示6个月内创建且已删除的集群,若需要查看6个月以前删除的集群,请联系技术支持人员。
- 失败任务管理:仅包含“失败”状态的任务。
−集群创建失败的任务
−集群删除失败的任务
−集群扩容失败的任务
−集群缩容失败的任务
如何查看MRS服务的操作日志信息?
“操作日志”页面记录了用户对集群和作业的操作的日志信息。目前,MRS界面记录的日志信息分为以下几类:
- 集群操作
−创建集群、删除集群、扩容集群和缩容集群等操作
−创建目录、删除目录和删除文件等操作
- 作业操作:创建作业、停止作业和删除作业等操作
- 数据操作:IAM用户任务、新增用户、新增用户组等操作
记录用户操作的日志信息如下图所示:
日志信息
如何查看MRS集群配置信息?
- 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面,可以查看到集群的基本配置信息。其中,节点的实例规格和容量决定了该集群对数据的分析处理能力。节点实例规格越高,容量越大,集群运行速度越快,分析处理能力越强,相应的成本也越高。
- 在基本信息页面,单击“前往Manager”,跳转至MRS集群管理页面。用户可在集群管理页面查看和处理告警信息、修改集群配置等。
如何在MRS集群中手动添加组件?
已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件,则需要重新创建一个集群,并且选择所需要的组件。
MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持手动添加组件。
MRS集群中安装的组件能否删除?
不可以删除。
已经创建的MRS 3.1.0及之前版本集群中的组件不可以删除,如果不使用的话可以登录Manager页面在服务管理中找到对应的组件将其停止。
MRS是否支持变更MRS集群节点?
MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。
如果您对MRS集群节点进行了上述操作,MRS会自动识别并直接删除发生变更的集群节点。您可以登录MRS管理控制台,通过扩容恢复已经删除的节点。请勿在扩容过程中对正在扩容的节点进行操作。
如何取消集群风险告警的消息通知?
1.登录MRS服务控制台。
2.单击集群名称进入集群详情页面。
3.选择“告警管理 > 消息订阅规则”。
4.在待修改的规则所在行的“操作”列单击“编辑”,在“订阅规则”中取消对应风险告警。
5.单击“确定”完成修改。
为什么MRS集群显示的资源池内存小于实际集群内存?
在MRS集群中,MRS默认为Yarn服务分配集群内存的50%,用户从逻辑上对Yarn服务的节点按照资源池进行分区管理,所以集群中显示的资源池总内存仅有集群总内存的50%。
如何配置knox内存?
以root用户登录集群Master节点。
1.在Master节点执行如下命令打开gateway.sh文件。
su omm
vim /opt/knox/bin/gateway.sh
2.将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m -Xmx768m"” 保存并退出文件。
3.在Master节点执行如下命令重启knox进程。
sh /opt/knox/bin/gateway.sh stop
sh /opt/knox/bin/gateway.sh start
4.在其他Master节点上重复执行如上步骤。
5.执行ps -ef |grep knox命令可查看已设置的内存信息。
knox内存
MRS集群安装的Python版本是多少?
以root用户登录任意一个Master节点,然后执行python3命令即可获取MRS集群安装的Python版本。
如何查看各组件配置文件路径?
常用组件配置文件路径如下所示:
组件 | 配置文件目录 |
---|---|
ClickHouse | 客户端安装路径 /ClickHouse/clickhouse/config |
Flink | 客户端安装路径 /Flink/flink/conf |
Flume | 客户端安装目录 /fusioninsight-flume- xxx /conf |
HBase | 客户端安装路径 /HBase/hbase/conf |
HDFS | 客户端安装路径 /HDFS/hadoop/etc/hadoop |
Hive | 客户端安装路径 /Hive/config |
Hudi | 客户端安装路径 /Hudi/hudi/conf |
Kafka | 客户端安装路径 /Kafka/kafka/config |
Loader | 客户端安装路径 /Loader/loader-tools- xxx /loader-tool/conf 客户端安装路径 /Loader/loader-tools- xxx /schedule-tool/conf 客户端安装路径 /Loader/loader-tools- xxx /shell-client/conf 客户端安装路径 /Loader/loader-tools- xxx /sqoop-shell/conf |
Oozie | 客户端安装路径 /Oozie/oozie-client- xxx /conf |
Spark2x | 客户端安装路径 /Spark2x/spark/conf |
Yarn | 客户端安装路径 /Yarn/config |
ZooKeeper | 客户端安装路径 /Zookeeper/zookeeper/conf |
MRS集群节点时间信息不正确如何处理?
- 若集群内节点时间不正确,请分别登录集群内时间不正确的节点,并从步骤2开始执行。
- 若集群内节点与集群外节点时间不同步,请登录集群外节点,并从步骤1开始执行。
1.执行vi /etc/ntp.conf命令编辑NTP客户端配置文件,并增加MRS集群中Master节点的IP并注释掉其他server的地址。
server master1_ip prefer
server master2_ip
增加Master节点的IP
2.执行service ntpd stop命令关闭NTP服务。
3.执行 /usr/sbin/ntpdate 主Master节点的IP地址 命令手动同步一次时间。
4.执行service ntpd start或systemctl restart ntpd命令启动NTP服务。
5.执行ntpstat命令查看时间同步结果。
如何查询MRS节点的启动时间?
登录当前节点,执行如下命令查询节点启动时间:
date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S"
节点互信异常如何处理?
当Manager报“ALM-12066 节点间互信失效”告警,或者发现节点间无ssh互信时,可参考如下步骤操作。
- 分别在互信集群的两端节点执行ssh-add -l确认是否有identities信息。
- 如果没有identities信息,执行ps -ef|grep ssh-agent找到ssh-agent进程,并kill该进程等待该进程自动重启。
- 执行ssh-add -l查看是否已经添加identities信息,如果已经添加,请手动ssh确认互信是否正常。
- 如果有identities信息,需要确认/home/omm/.ssh/authorized_keys中是否有对端节点/home/omm/.ssh/id_rsa.pub文件中的信息,如果没有手动添加对端节点信息。
- 检查/home/omm/.ssh目录下的文件权限是否正确。
- 排查日志文件 “/var/log/Bigdata/nodeagent/scriptlog/ssh-agent-monitor.log”。
- 如果用户把omm的家目录删除了,需要联系MRS支撑人员修复。
如何调整manager-executor进程内存?
问题现象
MRS服务在集群的Master1和Master2节点上部署了manager-executor进程,该进程主要用于将管控面对集群的操作进行封装,比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客户从MRS管控面提交作业,随着任务量的增大或者任务并发较高,有可能会导致Executor内存不足,导致占用CPU较高、Executor进程OOM等问题。
解决步骤
1.通过root用户登录Master1或Master2其中任意一节点,执行以下命令切换到omm用户。
su - omm
2.执行以下命令,修改“catalina.sh”脚本,搜索“JAVA_OPTS” ,找到类似如下的配置JAVA_OPTS=“-Xms1024m -Xmx4096m”,将其修改为需要的值大小,保存修改。
vim /opt/executor/bin/catalina.sh
3.重启manager-executor进程,该进程在Master1和Master2节点上为主备部署,同一时刻只有一个节点上运行该进程,首先确认节点上是否有该进程,如果有该进程则进行重启操作。
a.分别登录Master1节点和Master2节点,执行以下命令确认当前节点是否存在该进程。当有输出时则进程存在。
ps -ef | grep "/opt/executor" | grep -v grep
b.重启命令如下。
sh /opt/executor/bin/shutdown.shsh /opt/executor/bin/startup.sh