告警解释
系统每4个小时周期性检测单副本块的数量,并把当前单副本的块数和阈值相比较。单副本的块数量指标默认提供一个阈值范围。当检测到单副本的块数量超出阈值范围时产生该告警。
待补齐的块数量小于阈值时,告警恢复。
告警属性
告警ID | 告警级别 | 是否自动清除 |
---|---|---|
14029 | 次要 | 是 |
告警参数
参数名称 | 参数含义 |
---|---|
来源 | 产生告警的集群名称。 |
服务名 | 产生告警的服务名称。 |
角色名 | 产生告警的角色名称。 |
NameService名 | 产生告警的NameService名称。 |
Trigger condition | 系统当前指标取值满足自定义的告警设置条件。 |
对系统的影响
单副本的数据在节点故障时容易丢失,单副本的文件过多会对HDFS文件系统的安全性造成影响。
可能原因
- DataNode节点故障。
- 磁盘故障。
- 单副本写入文件。
处理步骤
1.在FusionInsight Manager首页,选择“运维 > 告警 > 告警”查看是否存在告警“ALM-14003 丢失的HDFS块数量超过阈值”。
- 是,执行步骤2。
- 否,执行步骤3。
2.按照“ALM-14003 丢失的HDFS块数量超过阈值”的处理方法处理,然后等待下个检测周期,检查告警是否清除。
- 是,结束。
- 否,执行步骤3。
3.排查业务中是否写入过的单副本的文件。
- 是,执行步骤4。
- 否,执行步骤7。
4.以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行如下命令:
- 安全模式:
cd 客户端安装目录
source bigdata_env
kinit hdfs
- 普通模式:
su - omm
cd 客户端安装目录
source bigdata_env
5.在客户端节点执行如下命令,增大单副本文件的副本数。
hdfs dfs -setrep -w 文件副本数文件名或文件路径
6.等待下个检测周期,查看告警是否消除。
- 是,结束。
- 否,执行步骤7。
收集故障信息
7.在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。
8.在“服务”中勾选待操作集群的“HDFS”。
9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
10.请联系运维人员,并发送已收集的故障日志信息。
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
无。