如何将 Fargate EKS Fluent Bit Logs 从不同服务发送到单独的 Cloudwatch 组？

Question

我已按照本指南在我的 EKS 集群上配置 Fluent Bit 和 Cloudwatch，但目前所有日志都转到一个日志组。我尝试遵循一个单独的教程，该教程使用 Fluent Bit 的 kubernetes 插件在到达 [OUTPUT] 配置之前标记服务。这导致了问题，因为 Fargate EKS 目前不按照本文档底部处理 Fluent Bit [INPUT] 配置。

以前有人遇到过这种情况吗？我想将日志分成单独的服务。

这是我当前的 YAML 文件。我添加了解析器和过滤器，以查看是否可以获得任何其他信息以在 Cloudwatch 上使用。

kind: Namespace
apiVersion: v1
metadata:
  name: aws-observability
  labels:
    aws-observability: enabled
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: aws-logging
  namespace: aws-observability
data:
  parsers.conf: |
    [PARSER]
        Name docker
        Format json
        Time_Key time
        Time_Format %Y-%m-%dT%H:%M:%S.%L
        Time_Keep On
        
  filters.conf: |
    [FILTER]
        Name kubernetes
        Match kube.*
        Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
        # Kube_Tag_Prefix kube.var.log.containers.
        Kube_URL https://kubernetes.default.svc:443
        Merge_Log On
        Merge_Log_Key log_processed
        Use_Kubelet true
        Buffer_Size 0
        Dummy_Meta true
  
  output.conf: |
    [OUTPUT]
        Name cloudwatch_logs
        Match   *
        region us-east-1
        log_group_name fluent-bit-cloudwatch2
        log_stream_prefix from-fluent-bit-
        auto_create_group On

Answer 1

于是我发现其实做起来很简单。

flutter bit 上输入的默认标记包含您正在登录的服务的名称，因此您实际上可以在服务名称周围使用通配符运算符堆叠多个 [OUTPUT] 块。这就是我所要做的就是将流发送到不同的日志组。这是我的 YAML 供参考。

kind: Namespace
apiVersion: v1
metadata:
  name: aws-observability
  labels:
    aws-observability: enabled
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: aws-logging
  namespace: aws-observability
data:
  output.conf: |
    [OUTPUT]
        Name cloudwatch_logs
        Match   *logger*
        region us-east-1
        log_group_name logger-fluent-bit-cloudwatch
        log_stream_prefix from-fluent-bit-
        auto_create_group On
        
    [OUTPUT]
        Name cloudwatch_logs
        Match   *alb*
        region us-east-1
        log_group_name alb-fluent-bit-cloudwatch
        log_stream_prefix from-fluent-bit-
        auto_create_group On