Prometheus 错误 - 摄取样本时出错

Question

我在 Prometheus 中监控基于 Node JS 的 Web 应用程序时遇到以下错误。

level=warn ts=2019-08-02T18:23:48.658364708Z caller=scrape.go:932 component="抓取管理器" scrape_pool=batch_web target= https://example.com:443/metrics msg="摄取错误太旧或太遥远的样本” num_dropped=6

有任何关于为什么会发生这种情况以及我该如何解决这个问题的指示吗？

Answer 1

在 VMware、vagrant 和 Paralles 虚拟环境中的虚拟机上使用 prometheus，所有这些都运行 Ubuntu 18.04，我在 syslog 中遇到了与此消息相同的问题

msg="Error on ingesting out-of-order samples"
and veraious num_dropped= values

有效的方法是在每个映像上发出所有这些命令，然后重新启动映像。如果不重新启动，num_dropped 开始变低，但错误一直存在，直到重新启动

/usr/bin/timedatectl set-ntp false
systemctl stop systemd-timesyncd
systemctl disable systemd-timesyncd
systemctl mask systemd-timesyncd