Prometheus 导出器 - 读取包含过去一天数据的 CSV 文件

Question

我正在编写一个 Prometheus 导出器，它必须读取不同的 CSV 文件。每个文件都包含过去一整天的数据（目标是让导出器每天读取一个新的 CSV 文件。每天都会将一个 CSV 文件上传到服务器，其中包含前一天的数据。

在 CSV 文件中，我每 5 分钟就有相同的指标。例如：

Date;Time;data
23.03.20;23:55:00;1
23.03.20;23:50:00;50
23.03.20;23:45:00;3

我很难在普罗米修斯中正确添加这些数据。

class CSVCollector(object):
  def collect(self):
    # We list all the min files in the current directory
    list_min = glob.glob("min*.csv")
    metric = GaugeMetricFamily(
                'day_tests_seconds',
                'kw', labels=["jobname"])
    for min in list_min :
      with open(min) as csv_file:
        csv_reader = csv.reader(csv_file, delimiter=';')
        line_count = 0
        for row in csv_reader:
            if line_count == 1:
                correct_date_format = row[0][:6] + "20" + row[0][6:]
                datetime_row = correct_date_format + ';' + row[1]
                timestamp = int(time.mktime(datetime.datetime.strptime(datetime_row, "%d.%m.%Y;%H:%M:%S").timetuple()))
                metric.add_metric(str(line_count), int(row[4]), timestamp)
            line_count += 1
    yield metric   
     


if __name__ == '__main__':
  # Usage: json_exporter.py port endpoint
  start_http_server(int(sys.argv[1]))
  REGISTRY.register(CSVCollector())
  while True: time.sleep(1)

普罗米修斯只是读取第一行，将其添加为指标，并在每次抓取导出器时再次读取完全相同的内容。我究竟做错了什么 ？我觉得这个数据应该是一个Jauge，因为它上下波动，但普罗米修斯似乎不希望一次刮擦来自同一个Jauge的不同数据？

Answer 1

页面介绍了一种将历史数据导入Prometheus的方法。

.txt 文件为 OpenMetrics 格式，导入命令示例为：tsdb import rrd_exported_data.txt /var/lib/prometheus/ --max-samples-in-mem=10000。

示例文件rrd_exported_data.txt( [metric]{[labels]} [number value] [timestamp ms]):

collectd_df_complex{host="myserver.fqdn.com",df="var-log",dimension="free"} 5.8093906125e+10 1582226100000
collectd_varnish_derive{host="myserver.fqdn.com",varnish="request_rate",dimension="MAIN.client_req"} 2.3021666667e+01 1582226100000
collectd_df_complex{host="myserver.fqdn.com",df="var-log",dimension="free"} 5.8093906125e+10 1582226100000
collectd_load{host="myserver.fqdn.com",type="midterm"} 0.0155 1582226100000

也许你可以在 python 代码中执行该命令。