告警解释

系统每30秒周期性检测待补齐的块数量，并把待补齐的块数量和阈值相比较。需补齐的块数量指标默认提供一个阈值范围。当检测到丢失的块数量超出阈值范围时产生该告警。

用户可通过“运维 > 告警 > 阈值设置 > 待操作集群名称 > HDFS > 文件和块 > 需要复制副本的块总数（NameNode）”修改阈值。

平滑次数为1，待补齐的块数量小于或等于阈值时，告警恢复；平滑次数大于1，待补齐的块数量小于或等于阈值的90%时，告警恢复。

告警属性

告警参数

对系统的影响

HDFS存储数据丢失，HDFS可能会进入安全模式，无法提供写服务。丢失的块数据无法恢复。

可能原因

• DataNode实例异常。
• 数据被删除。
• 写入文件的副本数大于DataNode的节点数。

处理步骤

1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”查看是否存在告警“ALM-14003 丢失的HDFS块数量超过阈值”。

• 是，执行步骤2。
• 否，执行步骤3。

2.按照“ALM-14003 丢失的HDFS块数量超过阈值”的处理方法处理，然后等待5分钟，检查告警是否清除。

• 是，结束。
• 否，执行步骤3。

3.以root用户登录HDFS客户端，用户密码为安装前用户自定义，请咨询系统管理员。执行如下命令：

• 安全模式：

cd 客户端安装目录

source bigdata_env
kinit hdfs

• 普通模式：

su - omm

cd 客户端安装目录

source bigdata_env

4.执行命令 hdfs fsck / >> fsck.log ，获取当前集群的状况。

5.使用命令统计当前待复制块数量M：

cat fsck.log | grep "Under-replicated"

6.使用命令统计“/tmp/hadoop-yarn/staging/”目录下的待复制块数量N：

cat fsck.log | grep "Under replicated" | grep "/tmp/hadoop-yarn/staging/" | wc -l

                
说明
                
“/tmp/hadoop-yarn/staging/”目录为默认值，如果客户有修改，可以通过mapred-site.xml文件配置项“yarn.app.mapreduce.am.staging-dir”获取此路径。
              

7.比对N是否占了M的大多数（N/M＞50%）。

• 是，执行步骤8。
• 否，执行步骤9。

8.执行命令来重新配置目录的文件副本数（文件副本数选择DataNode节点数或者默认文件副本数）：

hdfs dfs -setrep -w 文件副本数 /tmp/hadoop-yarn/staging/

                
说明
                
默认文件副本数通过如下方式获取：
登录Manager页面，选择“集群 > 服务 > HDFS > 配置 > 全部配置”，搜索dfs.replication参数，该参数的值即是默认文件副本数。
然后等待5分钟，检查告警是否清除。
是，结束。
否，执行步骤9。
              

收集故障信息

9.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。

10.在“服务”中勾选待操作集群的“HDFS”。

11.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。

12.请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

无。