告警解释
告警模块按60秒周期检测Yarn当前挂起的内存量大小,当Yarn上面挂起的内存量大小超过阈值时,触发该告警。挂起的内存量表示当前所有提交的Yarn应用还没有满足的内存量总和。
告警属性
告警ID | 告警级别 | 是否自动清除 |
---|---|---|
18024 | 重要 | 是 |
告警参数
参数名称 | 参数含义 |
---|---|
来源 | 产生告警的集群名称。 |
队列名 | 产生告警的队列名。 |
队列指标名 | 产生告警的队列指标名。 |
对系统的影响
- 应用任务结束时间变长。
- 新应用提交后长时间无法运行。
可能原因
- NodeManager节点资源过小。
- 队列最大资源容量设置过小,AM最大资源百分比设置过小。
- 监控阈值设置过小。
处理步骤
检查NodeManager节点资源
1.在FusionInsight Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Yarn > ResourceManager(主)”,进入ResourceManager的WebUI页面。
2.单击“Scheduler”,在“Application Queues”中查看root队列是否资源用满。
- 是,执行步骤3。
- 否,执行步骤4。
3.对Yarn服务的NodeManager实例进行扩容。扩容后,查看告警是否消除。
- 是,处理完毕。
- 否,执行步骤6。
检查队列最大资源容量和AM最大资源百分比
4.查看pending任务对应的队列的资源是否用满。
- 是,执行步骤5。
- 否,执行步骤6。
5.在FusionInsight Manager界面,选择 “租户资源 > 动态资源计划”,根据实际需要,适当增加相应的队列资源。查看告警是否消除。
- 是,处理完毕。
- 否,执行步骤6。
调整监控阈值
6.在FusionInsight Manager界面,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > CPU和内存 > 挂起的内存量”,根据实际需要,适当增加该告警的监控阈值。
7.等待5分钟,查看该告警是否消除。
- 是,处理完毕。
- 否,执行步骤8。
收集故障信息
8.在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
9.在“服务”中勾选待操作集群的“Yarn”。
10.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
11.请联系运维人员,并发送已收集的故障日志信息。
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
无。