告警解释
告警模块按10s周期检测集群间节点的网络健康状态。当检测到某两台节点之间网络不可达或者网络状态不稳定,产生该告警。
当网络恢复正常,告警恢复。
告警属性
告警ID | 告警级别 | 是否自动清除 |
---|---|---|
12089 | 重要 | 是 |
告警参数
参数名称 | 参数含义 |
---|---|
来源 | 产生告警的集群或系统名称。 |
服务名 | 产生告警的服务名称。 |
角色名 | 产生告警的角色名称。 |
主机名 | 产生告警的主机名。 |
对系统的影响
集群节点间网络健康状态不好时,会影响某些组件的功能使用,如HDFS,ZooKeeper等。
可能原因
- 节点宕机。
- 网络故障。
处理步骤
确认网络健康状态
1.打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看附加信息中的描述信息。明确具体发生告警源IP地址及目标IP,并记录两个IP地址。
2.登录告警上报节点,在告警上报节点上使用ping命令,向目标节点手动发起ping请求,检查两个节点之间的网络状态是否正常。
- 是,执行6。
- 否,执行3。
确认节点状态
3.在FusionInsight Manager界面,单击“主机”查看主机列表中是否包含故障节点,确认故障节点是否已从集群中移除。
- 是,执行5。
- 否,执行4。
4.查看故障节点运行状态,判断是否处于关机状态。
- 是,启动故障节点,执行步骤2。
- 否,联系相关工作人员定位问题,若需要从集群中移除故障节点,执行5,否则执行6。
5.将故障节点从集群所有节点的$NODE_AGENT_HOME/etc/agent/hosts.ini文件中移除,并清空/var/log/Bigdata/unreachable/unreachable_ip_info.log文件内容,同时手动清除告警。
6.等待30s查看告警是否自动清除。
- 是,处理完毕。
- 否,执行7。
收集故障信息
7.在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
8.在“服务”中勾选“OmmAgent”,单击“确定”。
9.单击右上角的设置日志收集的时间范围,一般为告警产生时间的前后10秒钟,单击“下载”。
10.请联系运维人员,并发送已收集的故障日志信息。
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
无。