告警解释
系统按照30秒的周期检测Storm服务是否可用,当集群全部的Nimbus节点异常时,Storm服务不可用,系统产生此告警。
当Storm服务恢复正常,告警自动清除。
告警属性
告警ID | 告警级别 | 是否自动清除 |
---|---|---|
26051 | 紧急 | 是 |
告警参数
参数名称 | 参数含义 |
---|---|
来源 | 产生告警的集群名称。 |
服务名 | 产生告警的服务名称。 |
角色名 | 产生告警的角色名称。 |
主机名 | 产生告警的主机名。 |
对系统的影响
集群无法对外提供Storm服务,用户无法执行新的Storm任务。
可能原因
- Kerberos集群故障。
- ZooKeeper集群故障或假死。
- Storm集群中主备Nimbus状态异常。
处理步骤
检查Kerberos集群状态(普通模式集群跳过此步骤)
1.在FusionInsight Manager管理界面,选择“集群 > 待操作集群的名称 > 服务”。
2.查看Kerberos服务的运行状态是否为“良好”。
- 是,执行步骤5。
- 否,执行步骤3。
3.参考“ALM-25500 KrbServer服务不可用”的相关维护信息进行操作。
4.查看告警是否清除。
- 是,处理完毕。
- 否,执行步骤5。
检查ZooKeeper集群状态
5.查看ZooKeeper服务的运行状态是否为“良好”。
- 是,执行步骤8。
- 否,执行步骤6。
6.如果Zookeeper服务停止运行,则启动服务,否则参考“ALM-13000 ZooKeeper服务不可用”的相关维护信息进行操作。
7.查看告警是否清除。
- 是,处理完毕。
- 否,执行步骤8。
检查主备Nimbus状态
8.选择“集群 > 待操作集群的名称 > 服务 > Storm Nimbus”,进入Nimbus实例页面。
9.查看“角色”中是否存在且仅存在一个状态为主的Nimbus节点。
- 是,执行步骤13。
- 否,执行步骤10。
10.勾选两个Nimbus角色实例,选择“更多 > 重启实例”,查看是否重启成功。
- 是,执行步骤11。
- 否,执行步骤13。
11.重新登录FusionInsight Manager管理界面,选择“集群 > 待操作集群的名称 > 服务 > Storm > Nimbus”,查看运行状态是否为“良好”。
- 是,执行步骤12。
- 否,执行步骤13。
12.等待30秒,查看告警是否恢复。
- 是,处理完毕。
- 否,执行步骤13。
收集故障信息
13.在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
14.在“服务”中勾选待操作集群的如下节点信息。
- KrbServer
说明普通模式不需要下载KrbServer日志。
ZooKeeper
Storm
15.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
16.请联系运维人员,并发送已收集的故障日志信息。
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
无。