告警解释

系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的wal文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步wal文件数量超出阈值（默认连续20次超过默认阈值128）时产生该告警。用户可通过“运维 > 告警 > 阈值设置> 待操作集群 > HBase”修改阈值。当等待同步的wal文件数量小于或等于阈值时，告警消除。

告警属性

告警ID	告警级别	是否自动清除
19020	重要	是

告警参数

参数名称	参数含义
来源	产生告警的集群名称。
服务名	产生告警的服务名称。
角色名	产生告警的角色名称。
主机名	产生告警的主机名。
Trigger Condition	系统当前指标取值满足自定义的告警设置条件。

对系统的影响

RegionServer等待同步的wal文件数量超出阈值，会影响HBase使用的znode超出阈值，影响HBase服务状态。

可能原因

• 网络异常。
• RegionServer的Region分布不均匀。
• 备集群HBase服务规模过小。

处理步骤

查看告警定位信息

1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选择“告警ID”为“19020”的告警，查看“定位信息”中产生该告警的服务实例和主机名。

检查主备集群RegionServer之间的网络连接

2.执行ping命令，查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。

• 是，执行步骤5
• 否，执行步骤3

3.联系网络管理员恢复网络。

4.网络恢复后，在告警列表中，查看本告警是否清除。

• 是，处理完毕。
• 否，执行步骤5。

检查主集群RegionServer的Region分布情况

5.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，查看Region Servers上Region分布是否均衡。

6.以omm用户登录故障RegionServer节点。

7.进入客户端安装目录，设置环境变量。

cd 客户端安装目录

source bigdata_env

如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示输入密码（向管理员获取密码）。

8.执行以下命令查看目前负载均衡功能是否打开。

hbase shell

balancer_enabled

是，执行步骤10。

否，执行步骤9。

9.在hbase shell中执行命令打开负载均衡功能，并执行命令查看确认成功打开。

balance_switch true

balancer_enabled

10.执行balancer命令手动触发负载均衡。

                
说明
                
建议打开和手动触发负载均衡操作在业务低峰期进行。
              

11.观察该告警是否清除。

• 是，处理完毕。
• 否，执行步骤12。

检查备集群HBase服务规模

12.对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤步骤6-步骤步骤10，打开负载均衡功能并手动触发。

13.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，刷新页面查看Region分布是否均衡。

• 是，执行步骤14。
• 否，执行步骤15。

14.观察该告警是否清除。

• 是，处理完毕。
• 否，执行步骤15。

收集故障信息

15.在主备群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。

16.在“服务”中勾选待操作集群的“HBase”。

17.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。

18.请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

无。