Prometheus 导出器是否可以保存历史数据,而不仅仅是在抓取时开发价值?
我的目标是我的导出器每 1 毫秒读取一个值(假设是一个传感器)并保存它。现在,Prometheus 每隔 15 秒就会提取一次数据并获取自上次抓取以来的值列表。
这是否可能/打算与出口商一起完成?
因为如果我正确理解导出器并不打算保存值,而只是在普罗米修斯抓取它时读取值。
抓取的安排
如果无法使用导出器解决此问题,我只能看到在节点和导出器之间添加时间序列数据库的解决方案。然后导出器只从 tsdb 中提取数据。
|节点| --[每毫秒产生价值] --> |InfluxDB| --> |出口商| --> |普罗米修斯|
我在这里错过了什么吗?
我正在尝试弄清楚如何在 Postman 中进行监控。
我已经在桌面客户端上编写了 get/create/put 测试,一切正常。我使用本地主机地址和端口 5004,这是 API 的端口。
http://127.0.0.1:5004/bookings
我尝试将代理设置更改为 localhost 和端口 5004,我尝试将其更改为 127.0.0.1:5004,我尝试在桌面客户端上禁用 SSL。我正在从浏览器使用桌面客户端运行监控,但这也不起作用。
我还检查了我的 etc/host 文件是否包含 127.0.0.1 localhost,确实如此。
不知道我还能尝试什么,我将不胜感激任何帮助。:)
当云函数在 30 分钟内超过 90% 的执行返回非正常状态代码时,我希望收到警报。
我正在过滤的系列是 cloudfunctions.googleapis.com/function/execution_count. 在所有记录中,我想统计那些满足 的记录metric.status != 'ok'。如果过去 30 分钟内的所有记录中有 90% 满足此条件,我想发出警报。
我查看了 Google Cloud 的监控查询语言文档,发现了有关比率的部分: https: //cloud.google.com/monitoring/mql/examples#qlx-ratio-ratio
我的条件是这样写的:
fetch cloud_function
| metric 'cloudfunctions.googleapis.com/function/execution_count'
| { filter metric.status != 'ok'
; ident }
| group_by [resource.function_name]
| ratio
| window 30m
| condition ratio >= 0.9 '1'
Run Code Online (Sandbox Code Playgroud)
它似乎有效,并且图表显示了正确的值。但是,似乎只要函数返回错误代码,即使有其他成功执行来补偿问题,也会引发警报。
例如,这是发出警报时的指标图表,我在“监控”>“警报”> 中获得该图表(单击“事件”部分中的最后一个警报)

警报中报告的功能是processPurchase
我缺少什么可能会导致问题吗?查看图表,似乎不应触发警报。然而,我有关于警报的事件和通知。几分钟后就解决了。
我对 Prometheus 警报规则有疑问。我设置了各种 cAdvisor 特定警报,例如:
- alert: ContainerCpuUsage
expr: (sum(rate(container_cpu_usage_seconds_total[3m])) BY (instance, name) * 100) > 80
for: 2m
labels:
severity: warning
annotations:
title: 'Container CPU usage (instance {{ $labels.instance }})'
description: 'Container CPU usage is above 80%\n VALUE = {{ $value }}\n LABELS: {{ $labels }}'
Run Code Online (Sandbox Code Playgroud)
当条件满足时,我可以在 Prometheus 的“警报”选项卡中看到警报,但是缺少一些标签,因此不允许 Alertmanager 通过 Slack 发送通知。具体来说,我将自定义“env”标签附加到每个目标:
{
"targets": [
"localhost:8080",
],
"labels": {
"job": "cadvisor",
"env": "production",
"__metrics_path__": "/metrics"
}
}
Run Code Online (Sandbox Code Playgroud)
但是,当基于 cadvisor 指标的警报触发时,标签为:警报名称、实例和严重性 - 无作业标签、无环境标签。来自其他导出器(fe 节点导出器)的所有其他警报都工作正常并且标签存在。
使用摘要来跟踪我要跟踪的请求大小
我可以这样做
meterRegistry.summary("request.size", <tag for url>).record(<size>);
Run Code Online (Sandbox Code Playgroud)
不过,我可以使用计数器和最大尺寸的仪表来实现相同的目的
meterRegistry.counter("request.size.total", <tag for url>).increment(<size>);
meterRegistry.counter("request.size.count", <tag for url>).increment();
meterRegistry.gauge("request.size.max", <tag for url>).set(<new value if needed>);
// and the gauge value will be stored in atomic variable
Run Code Online (Sandbox Code Playgroud)
问题是,与较长的解决方案相比,摘要除了更短之外还有什么好处吗?
monitoring memory-management google-compute-engine google-cloud-platform google-container-optimized-os
我有以下 docker-compose 文件:
version: '3.4'
services:
serviceA:
image: <image>
command: <command>
labels:
servicename: "service-A"
ports:
- "8080:8080"
serviceB:
image: <image>
command: <command>
labels:
servicename: "service-B"
ports:
- "8081:8081"
prometheus:
image: prom/prometheus:v2.32.1
container_name: prometheus
volumes:
- ./prometheus:/etc/prometheus
- prometheus_data:/prometheus
command:
- '--config.file=/etc/prometheus/prometheus.yml'
- '--storage.tsdb.path=/prometheus'
- '--web.console.libraries=/etc/prometheus/console_libraries'
- '--web.console.templates=/etc/prometheus/consoles'
- '--storage.tsdb.retention.time=200h'
- '--web.enable-lifecycle'
restart: unless-stopped
expose:
- 9090
labels:
org.label-schema.group: "monitoring"
volumes:
prometheus_data: {}
Run Code Online (Sandbox Code Playgroud)
docker-compose 还包含具有以下配置的 Prometheus 实例:
global:
scrape_interval: 15s # By default, scrape targets every 15 seconds.
scrape_configs:
- job_name: …Run Code Online (Sandbox Code Playgroud) 使用 Windows 命令提示符并执行 cmd.exe 内置命令(例如 copy、del、echo、start 等)时,执行的相应命令行字符串不会填充到 Sysmon 事件 ID 1 - 进程创建中。Sysmon 事件仅概述 cmd.exe 映像,命令行值只是 cmd,而不是copy foo bar.
我的理论是,当打开 cmd 提示符时,仅执行 cmd.exe 进程,并进一步触发 Sysmon 事件 ID 1 - 进程创建的事件,但是,因为我执行的以下命令是 cmd.exe 内置命令(就像上面提到的那样),没有创建实际的新进程,这意味着没有创建新的 Sysmon 事件 ID 1,因此不会捕获命令行值。
如果我在同一命令提示符下运行其他 Windows 程序(例如 regedit.exe),我将触发一个新的 Sysmon 事件 ID 1 - 进程创建事件,其中包含执行的命令行字符串,例如regedit foo bar
为了进一步测试这个理论,我启用了 Windows 安全事件日志 - 4688(相当于 Sysmon 事件 ID 1 - 进程创建)来确定我的 Sysmon 配置是否是罪魁祸首。
查看端点上的 Windows 安全事件日志 - 4688 条目,再次测试我的问题后,我发现了相同的行为,Windows 事件日志中的命令行字符串值也是空白。仅显示来自 cmd.exe 生成进程的条目,但不会记录后续执行的内置 cmd 命令。但是,如前所述,如果我执行不同的 Windows 程序(如上面提到的 regedit),该活动将被捕获为新的 4688 事件,并执行相应的命令字符串。 …
我们在 EKS Kubernetes v1.21 上运行 Grafana,作为 Traefik 反向代理后面的 Helm 部署。
格拉法纳版本:v9.0.3
最近,Grafana 每分钟都会发布相同的日志消息:
2022-08-24 15:52:47
logger=context traceID=00000000000000000000000000000000 userId=0 orgId=0 uname= t=2022-08-24T13:52:47.293094029Z level=info msg="Request Completed" method=GET path=/api/live/ws status=401 remote_addr=10.1.3.153 time_ms=4 duration=4.609805ms size=27 referer= traceID=00000000000000000000000000000000
2022-08-24 15:52:47
logger=context traceID=00000000000000000000000000000000 t=2022-08-24T13:52:47.290478899Z level=error msg="Failed to look up user based on cookie" error="user token not found"
Run Code Online (Sandbox Code Playgroud)
我无法确认这两条日志消息是否相关,但我相信它们是相关的。
我找不到任何具有 id 的用户0。
我偶尔看到的另一个日志错误是
2022-08-24 15:43:43
logger=ngalert t=2022-08-24T13:43:43.020553296Z level=error msg="unable to fetch orgIds" msg="context canceled"
Run Code Online (Sandbox Code Playgroud)
我可以看到, 指的remote_addr是我们集群中部署 Grafana 的节点。
谁能解释为什么这会不断达到所示的端点?
谢谢!
当部署/取消部署EJB应用程序(停止JMX MServerBean)时,我如何添加一个关闭钩子(就像JVM Shutdown Hook)来监听(获取通知)?
我可以使用ServletContextListener,不幸的是这是一个EJB jar.
monitoring ×10
prometheus ×4
java ×2
metrics ×2
amazon-eks ×1
cadvisor ×1
cmd ×1
docker ×1
ejb-3.0 ×1
exporter ×1
google-container-optimized-os ×1
grafana ×1
jmx ×1
kubernetes ×1
logging ×1
micrometer ×1
postman ×1
rest ×1
sysinternals ×1
windows ×1