告警解释

告警模块按60秒周期检测Yarn队列上pending的应用的数量，当root队列上处于pending状态的应用的数量超过60时，触发该告警。

告警属性

告警参数

对系统的影响

• 应用任务结束时间变长。
• 新应用提交后长时间无法运行。

可能原因

• NodeManager节点资源过小。
• 队列最大资源容量设置过小，AM最大资源百分比设置过小。
• 监控阈值设置过小。

处理步骤

检查NodeManager节点资源

1.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > ResourceManager(主)”，进入ResourceManager的WebUI页面。

2.单击“Scheduler”，在“Application Queues”中查看root队列是否资源用满。

• 是，执行步骤3。
• 否，执行步骤4。

3.对Yarn服务的NodeManager实例进行扩容。扩容后，查看告警是否消除。

• 是，处理完毕。
• 否，执行步骤6。

检查队列最大资源容量和AM最大资源百分比

4.查看pending任务对应的队列的资源是否用满。

• 是，执行步骤5。
• 否，执行步骤6。

5.在FusionInsight Manager界面，选择 “租户资源 > 动态资源计划”，根据实际需要，适当增加相应的队列资源。查看告警是否消除。

• 是，处理完毕。
• 否，执行步骤6。

调整监控阈值

6.在FusionInsight Manager界面，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > 任务 > 正在挂起的任务”，根据实际需要，适当增加该告警的监控阈值。

7.等待5分钟，查看该告警是否消除。

• 是，处理完毕。
• 否，执行步骤8。

收集故障信息

8.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。

9.在“服务”中勾选待操作集群的“Yarn”。

10.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。

11.请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

无。