Grafana 在查询 loki 仪表板时显示“太多未完成的请求”错误

Question

我正在尝试使用 loki 和 grafana 来生成和可视化基于日志的指标。我使用 loki 过滤器创建了一个 Grafana 仪表板。单击刷新按钮时，所有仪表板都会失败，并显示错误“太多未完成的请求”，并且不显示任何数据。请参阅随附的屏幕截图。 我将grafana和loki部署到EKS集群。

我可以调整参数来解决问题吗？我检查了 Pod/部署配置，但没有发现任何相关内容。

请协助。

Answer 1

您可以更改某些 Loki 内部变量的默认限制。以下是经过测试的配置示例，该配置在具有简单文件存储的 4 核虚拟机上运行良好。

query_scheduler:
  max_outstanding_requests_per_tenant: 4096
frontend:
  max_outstanding_per_tenant: 4096
query_range:
  parallelise_shardable_queries: true
limits_config:
  split_queries_by_interval: 15m
  max_query_parallelism: 32

有关此问题的更多详细信息：https ://github.com/grafana/loki/issues/5123

Answer 2

对我有用的是max_outstanding_requests_per_tenant向文件添加一个值local-config.yaml，这是默认的 Loki 配置文件。该文件存储在位于 的官方 Docker 映像中/etc/loki/local-config.yaml。所以我将一个local-config.yaml文件安装到该位置：

auth_enabled: false

server:
  http_listen_port: 3100

common:
  path_prefix: /loki
  storage:
    filesystem:
      chunks_directory: /loki/chunks
      rules_directory: /loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h

ruler:
  alertmanager_url: http://localhost:9093

query_scheduler:
  max_outstanding_requests_per_tenant: 2048