日志级别作为Docker GELF日志记录驱动程序的字段

Question

我想从docker容器中获取stdout日志并将它们发送到ELK堆栈.到目前为止,我知道Docker中有一个GELF日志记录驱动程序.

不过,我想不通我怎么能分析ERROR,WARNING或DEBUG从消息的消息,并把它们在一个新的领域像log_level在日志消息码头工人将它们发送到ELK之前.

日志消息应该是这样的:

{
  "client": "127.0.0.1",
  "user": "frank",
  "timestamp": "2000-10-10 13:55:36 -0700",
  "method": "GET",
  "uri": "/apache_pb.gif",
  "protocol": "HTTP/1.0",
  "status": 200,
  "size": 2326,
  "message": "[ERROR] Error connecting to MongoDB",
  "_logLevel" : "ERROR"
}

"_logLevel" : "ERROR"在发送给ELK之前添加了哪个docker.

谢谢.

Answer 1

我认为你混淆了docker为你做了什么以及logstash(或者可能是logspout)的用途.Docker Gelf驱动程序添加以下字段:主机名 - 容器ID - 容器名称 - 图像ID - 图像名称 - 创建(容器创建时间) - 级别(stdout为6,stderr为3,不应与应用程序loglevel混淆).Docker知道这些东西.Docker不知道您的用户或客户端.这些字段不是由gelf驱动程序或docker创建的.

要实现您想要的功能,您必须在logstash中使用grok过滤器:

我的消息有日志格式:

$ {date:format = yyyy-MM-dd HH:mm:ss.fff} | $ {correlationId} | $ {level} | $ {callSite} | $ {}消息

我从docker compose运行logstash,如下所示:

  logstash:
    image: docker.elastic.co/logstash/logstash:5.3.1
    logging:
      driver: "json-file"
    networks:
      - logging
    ports:
      - "12201:12201"
      - "12201:12201/udp"
    entrypoint: logstash -e 'input { gelf { } }
                        filter{
                                grok { 
                                    match=> ["message", "%{SPACE}%{DATESTAMP:timestamp}%{SPACE}\|%{SPACE}%{DATA:correlation_Id}%{SPACE}\|%{SPACE}%{DATA:log_level}%{SPACE}\|%{SPACE}%{DATA:call_site}%{SPACE}\|%{SPACE}%{DATA:message}%{SPACE}$$"]
                                    overwrite => [ "message" ]
                                }
                                date {
                                    locale => "en"
                                    match => ["timestamp", "dd-MM-YYYY HH:mm:ss:SSS"]
                                    target => "@timestamp"
                                    remove_field => [ "timestamp" ]
                                }
                        }
                        output { stdout{ } elasticsearch { hosts => ["http://elasticsearch:9200"] } }'

在这里我如何运行一个以指定格式传递日志的容器(除日期外所有相同):

docker run --log-driver=gelf --log-opt gelf-address=udp://0.0.0.0:12201 ubuntu /bin/sh -c 'while true; do date "+%d-%m-%Y %H:%M:%S:%3N" | xargs printf "%s %s | 51c489da-2ba7-466e-abe1-14c236de54c5 | INFO | HostingLoggerExtensions.RequestFinished    | Request finished in 35.1624ms 200 application/json; charset=utf-8 message end\n"; sleep 1 ; done'

我希望这可以帮助你开始.确保在logstash之后启动容器创建日志.

也许请阅读grok文档以获取更多信息.