Prometheus的数据模型

在讨论Prometheus relabeling机制之前，我们需要先了解Prometheus的基本数据模型。

Prometheus将所有数据存储为时间序列，它本质上是一种相同度量和带相同标记维度集的时间戳数据流。这个简洁和健壮的数据模型支持强大的查询，并使Prometheus能够处理高基数和多维度场景的数据。具体地，Prometheus数据模型涉及下列几个部分：

Targets: Targets是一个可以抓取指标的实体。它实际上归结为一个要抓取的URL。targets可以是服务、API、服务器或任何其他提供metrics的实体。在现代分布式系统中，我们通常使用某种服务发现机制来发现targets。Prometheus为Kubernetes等通用平台提供了一系列服务发现能力。

Metrics:  Metrics通过其名称来标识，并帮助描述特定系统的属性。例如，度量http_requests_total可用于跟踪服务器接收到的HTTP请求总数。

Metrics Labels: 这些键值对为度量提供了更多的上下文和维度。例如，可以将标签方法="GET"附加到http_requests_total度量，以专门跟踪GET请求的数量。标签使Prometheus数据成为一个多维时间序列数据模型。

Time Series: 度量及其标签的每个唯一组合表示一个单独的时间序列。时间序列由度量名称和一组标签(键值对)标识。例如，http_requests_total{method="GET",url="/api/books/19", handler="/api/books"}和http_requests_total{method="POST",url="/api/books/19" handler="/api/books"}将是两个不同的时间序列。

为什么需要relabeling机制?

简而言之，使用relabelings的目的主要是为了对指标进行编辑和调整。这些编辑操作包括但不限于删除不必要的指标、修改指标中的标签、以及添加或修改指标的标签值或格式。

Prometheus有两种relabeling的方式，分别是relabel_config与metric_relabel_configs，它们的区别是：relabel_configs主要用于在抓取指标前修改目标的标签，而metric_relabel_configs则在抓取后对指标的标签进行修改。

如何使用relabel_configs?

relabel_configs 在 Prometheus 中是一个非常有用的功能，它允许用户在数据抓取并存储之前对指标进行重新标记和编辑，下面是几个常见的使用示例。

1. 修改指标中的标签

当 Prometheus 用于监控 Kubernetes 时，可能会遇到不同 job_name 中的指标标签命名不一致的情况。例如，pod 的名称可能使用 "pod" 或 "pod_name" 两个不同的标签记录。为了统一不同数据源中相同含义标签的名称，可以在 Prometheus 拉取数据后、保存数据前，通过 metric_relabel_configs 重写标签名称。配置示例：

metric_relabel_configs:
- source_labels: [pod]
  separator: ;
  regex: (.+)
  target_label: pod_name
  replacement: $1
  action: replace
- source_labels: [container]
  separator: ;
  regex: (.+)
  target_label: container_name
  replacement: $1
  action: replace

2. 删除不需要的指标

如果你有一些指标，比如 node_netstat_Icmp_OutMsgs，认为它们对监控没有太大意义，可以配置 Prometheus 直接丢弃这些指标，减少存储空间的浪费。配置示例如下：

metric_relabel_configs:
- source_labels: [ __name__ ]
  regex: 'node_netstat_Icmp_OutMsgs'
  action: drop

这样配置后，所有名为 node_netstat_Icmp_OutMsgs 的指标都会被 Prometheus 忽略，不会存储其数据。

3. 删除标签
删除标签通常用于隐藏敏感信息或简化时间序列。例如，如果你想要删除所有包含 "kernelVersion" 的标签，可以使用以下配置：

metric_relabel_configs:
- regex: 'kernelVersion'
  action: labeldrop

这个配置将删除所有匹配 "kernelVersion" 的标签。

4. 合并标签：

假设我们有两个标签 __region_id__ 和 __zone__，我们想要将这两个标签合并为一个新的标签 region_zone。以下是如何使用 relabel_configs 来实现的配置示例：

scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090']
- job_name: "node"
file_sd_configs:
- refresh_interval: 1m
  files:
  - "/usr/local/prometheus/prometheus/conf/node*.yml"
relabel_configs:
- source_labels: ["__region_id__", "__availability_zone__"]
  separator: "-"
  regex: "(.*)"
  target_label: "region_zone"
  action: replace
  replacement: "$1"

在这个例子中，我们使用 separator 来指定连接标签的分隔符，regex 来匹配标签值，target_label 指定新标签的名称，action 指定动作为 replace，replacement 使用正则表达式捕获组的值。

5. 过滤采集目标：

使用 relabel_configs 可以根据标签的值来过滤采集的目标。例如，我们只想采集特定数据中心 dc1 中的 node_exporter 实例，可以使用以下配置：

scrape_configs:
- job_name: node_exporter
consul_sd_configs:
- server: localhost:8500
  services:
  - node_exporter
relabel_configs:
- source_labels:  ["__meta_consul_dc"]
  regex: "dc1"
  action: keep

在这个配置中，action: keep 表示只保留标签值匹配 dc1 的目标实例。如果将 action 改为 drop，则会丢弃匹配 dc1 的实例，采集其他的实例。

如何使用metric_relabel_configs?

metric_relabel_configs 在 Prometheus 中用于在数据存储到时序数据库之前，对抓取到的指标进行最后的处理和过滤。以下是几个典型的例子。

1. 删除不需要的指标：

如果 Prometheus 抓取了一些不需要存储的指标，如 node_netstat_Icmp_OutMsgs，可以使用 metric_relabel_configs 来删除这些指标，减少存储空间的浪费。配置示例如下：

metric_relabel_configs:
- source_labels: [__name__]
  regex: 'node_netstat_Icmp_OutMsgs'
  action: drop

2. 增加指定标签：
当需要为所有指标添加新的标签，如 new_label1，并赋予特定的值 label_value1，可以使用以下配置：

metric_relabel_configs:
- regex: (.*)
  target_label: new_label1
  replacement: 'label_value1'
  action: replace

3. 删除不需要的标签
 如果需要从所有指标中删除带有前缀 pre1_ 的标签，可以使用 labeldrop 动作：

metric_relabel_configs:
- regex: 'pre1_.*'
  action: labeldrop

4. 修改指标中的标签：

当 Prometheus 用于监控 Kubernetes 时，可能会遇到标签命名不一致的问题。例如，将不同 job_name 中的 pod 标签统一重写为 pod_name：

metric_relabel_configs:
- source_labels: [pod]
  separator: ;
  regex: (.*)
  target_label: pod_name
  replacement: '$1'
  action: replace

5. 过滤采集目标：

使用 metric_relabel_configs 可以根据指标的标签值来过滤采集的目标。

例如，只采集指标名称中包含 node_cpu 的指标：

metric_relabel_configs:
- source_labels: [__name__]
  regex: 'node_cpu'
  action: keep

总结

Prometheus中的relabel_configs和metric_relabel_configs是两个强大的功能，它们可以在数据抓取和存储的不同阶段对标签进行处理。在项目中使用这两种relabel时通常有一些注意事项和选取原则。

1. 注意事项

relabel_configs:

• 在抓取阶段之前使用，当需要根据标签值选择性抓取目标时使用。
• 支持动态修改目标的地址、HTTP参数等。
• 用于动态发现目标和调整标签格式，根据发现的服务动态地设置标签或过滤服务实例。

metric_relabel_configs:

• 当需要在存储前对数据进行最终优化，如删除高基数标签或不必要的指标时使用。
• 删除不需要的指标、修改或添加标签、调整指标名称。
• 作用于已抓取的样本，应确保不会错误地修改或删除重要数据。
• 在多数据源中使用metric_relabel_configs进行指标格式化。

2. 选取原则

• 目的性：明确使用relabel的目的，是为了过滤数据、修改标签、还是删除指标。
• 效率：避免过度使用relabel，尤其是在大规模数据集上，因为这可能会增加处理时间和资源消耗。
• 可维护性：保持relabel配置的清晰和简洁，以便于维护和更新。

3. 最佳实践

• 分离关注点：将relabel_configs用于抓取阶段的预处理，将metric_relabel_configs用于存储前的最终处理。
• 逐步实施：在配置relabel时，逐步添加规则，测试其效果，避免一次性添加大量规则导致难以调试。
• 日志记录：在配置中加入适当的日志记录，以便于跟踪relabel的效果和潜在问题。
• 备份配置：在修改配置文件之前，备份当前的配置，以便在出现问题时能够快速恢复。