Prometheus监控之报错Error on ingesting out-of-order samples
2024-10-29 09:05:48 阅读次数:14
报错
一、问题描述
配置好Prometheus,grafana页面不展示,打开Prometheus日志,发现大量报错
"Error on ingesting out-of-order samples"
二、解决办法
1、时间检查
网上部分此问题解决办法就是查看prometheus和grafana机器的时间是否一致
俩服务部署在一台机器上,不存在时间差
2、数据抓取间隔检查
在红帽官网的Thanos中有一条记录
1.3.4.9. 消耗不按顺序示例时出错
Error on ingesting out-of-order samples
错误消息表示,在指标收集间隔期间,由受管集群发送的时间序列数据比在之前的集合间隔发送的时间序列数据旧。当出现问题时,Thanos 接收器丢
弃数据,这可能会在 Grafana 仪表板中显示的数据中造成差距。如果经常看到错误,建议将指标收集间隔增加到一个更高的值。例如,您可以将间隔
增加到 60 秒。
只有在时间序列间隔被设置为较低值(如 30 秒)时,才会注意到这个问题。请注意,当指标收集间隔被设置为默认值 300 秒时,不会看到这个问题。
查看prometheus.yml配置的抓取时间间隔
scrape_interval代表抓取间隔,scrape_timeout代替抓取的超时时间
scrape_interval: 5s
scrape_timeout: 5s
将其改为30s,继续观察
如果job_name中没有配置这个,则默认使用global中的配置
版权声明:本文内容来自第三方投稿或授权转载,原文地址:https://blog.51cto.com/u_13236892/6043238,作者:哭泣的馒头,版权归原作者所有。本网站转在其作品的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如因作品内容、版权等问题需要同本网站联系,请发邮件至ctyunbbs@chinatelecom.cn沟通。
上一篇:Elasticsearch 精粹:一站式学习全方位搜索技术
下一篇:datetime和timestamp的区别