如何在特定时间暂停普罗米修斯警报

Question

我在 Prometheus 内存警报方面遇到了一些问题。如果我备份 Gitlab，那么内存使用率将高达​​ 95%。我想在特定时间暂停内存警报。

例如，如果我在凌晨 2 点进行备份，那么我需要暂停 Prometheus 内存警报。是否可以？

Answer 1

正如马塞洛所说，没有办法安排静音，但如果备份是定期进行的（比如每晚凌晨 2 点到凌晨 3 点），您可以将其包含在警报表达式中。

- alert: OutOfMemory
  expr: node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes * 100 < 10 AND ON() absent(hour() >= 2 <= 3)

如果您想抑制许多规则（或者如果您想要更复杂的抑制时间表），这会很快变得乏味。在这种情况下，您可以通过以下方式使用警报管理器的禁止规则。

第一步是在 Prometheus 中定义一个警报，在您希望抑制发生时触发：

- alert: BackupHours
  expr: hour() >= 2 <= 3
  for: 1m
  labels:
    notification: none
  annotations:
    description: 'This alert fires during backup hours to inhibit others'

请记住在警报管理器中添加路由以避免通知此警报：

routes:
  - match:
      notification: none
    receiver: do_nothing
receivers:
- name: do_nothing

然后在这段时间内使用抑制规则使目标规则静音：

inhibit_rules:
- source_match:
    alertname: BackupHours
  target_match:
    # here can be any other selection of alert
    alertname: OutOfMemory

请注意，它仅适用于 UTC 计算的开箱即用。如果您需要 DST，则需要更多样板（通过示例记录规则）。

附带说明一下，如果您正在监控备份过程，您可能已经有了一个指示备份正在进行的指标。如果是这样，您可以使用此指标来禁止其他警报，而无需维护时间表。

Answer 2

不，不可能安排默哀。

针对您的情况的一些解决方法：

1）也许您可以更改 Prometheus 配置并增加“for”子句，以便有更多时间执行备份而不会触发警报。

2) 您可以使用 REST API 在备份开始/结束时创建/删除静音。

请在此处查看有关此主题的更多信息。