告警解释
系统每30秒周期性检测主机中omm用户D状态进程数,并把实际进程数和阈值相比较。主机D状态进程数默认提供一个阈值范围。当检测到进程数超出阈值范围时产生该告警。
平滑次数为1,主机中omm用户D状态进程总数小于或等于阈值时,告警恢复;平滑次数大于1,主机中omm用户D状态进程总数小于或等于阈值的90%时,告警恢复。
告警属性
告警ID | 告警级别 | 是否自动清除 |
---|---|---|
12028 | 重要 | 是 |
告警参数
参数名称 | 参数含义 |
---|---|
来源 | 产生告警的集群或系统名称。 |
服务名 | 产生告警的服务名称。 |
角色名 | 产生告警的角色名称。 |
主机名 | 产生告警的主机名。 |
Trigger Condition | 系统当前指标取值满足自定义的告警设置条件。 |
对系统的影响
占用系统资源,业务进程响应变慢。
可能原因
主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态和Z状态。
处理步骤
查看D状态进程
- 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。
- 以root用户登录产生告警主机,执行su - omm命令,切换到omm用户。
- 执行如下命令查看omm用户D状态进程号。
ps -elf | grep -v "\[thread_checkio\]" | awk 'NR!=1 {print $2, $3, $4}' | grep omm | awk -F' ' '{print $1, $3}' | grep -E "Z|D" | awk '{print $2}'
- 查看结果是否为空。
- 是,业务进程正常,执行步骤6。
- 否,执行步骤5。
- 切换到root用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。
- 等待5分钟,检查该告警是否恢复。
- 是,处理完毕。
- 否,执行步骤7。
收集故障信息
- 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
- 在“服务”中勾选“OMS”,单击“确定”。
- 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。
- 请联系运维人员,并发送已收集的故障日志信息。
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
无。