将 CloudTrail 日志记录到 Logstash

Question

我正在尝试将日志从 ClouldTrail 获取到 ElasticSearch 中，以便我们可以更好地了解 AWS 帐户中发生的情况。

我已经在我的机器（Ubuntu 14.04）上设置了 Logstash 和 ElasticSearch，并且可以将文本推stdin送到 ElasticSearch。但是，当我尝试使用 S3 输入时，没有向 ElasticSearch 添加任何内容。

这是我使用的 conf 文件，我已经删除了我的亚马逊密钥

input {
  s3 {
    bucket => 'ko-cloudtrail-log-bucket'
    secret_access_key => ''
    access_key_id => ''
    delete => false
    interval => '60'
    region => 'eu-west-1'
    type => 'CloudTrail'
    codec => cloudtrail {}
    }
}

output {
    stdout {}
    elasticsearch {
            host => '127.0.0.1'
     }
}

我已经安装了logstash-codec-cloudtrail编解码器，但文档非常少。

即使使用 -v 运行 Logstash 并且没有任何内容打印到stdout. 有什么我想念的吗？

Answer 1

这是我的 cloudtrail 输入。它非常适合解决一个小问题——它会重复记录。如图prefix所示，我将 cloudtrail 日志放在 s3://bucketname/cloudtrail，而不是根目录。

突变是可选的。eventSource 突变是为了使日志更具可读性，而 ruby​​ ingest_time 为我提供了记录在 ELK 中显示的日期 - 否则，它只有事件的时间。最后，我删除了一个非常常见的记录，它只会给我的系统增加噪音。

input {
  s3 {
    bucket => "bucketname"
    delete => false
    interval => 60 # seconds
    prefix => "cloudtrail/"
    type => "cloudtrail"
    codec => "cloudtrail"
    credentials => "/etc/logstash/s3_credentials.ini"
    sincedb_path => "/opt/logstash_cloudtrail/sincedb"
  }
}

filter {
  if [type] == "cloudtrail" {
    mutate {
      gsub => [ "eventSource", "\.amazonaws\.com$", "" ]
      add_field => {
        "document_id" => "%{eventID}"
      }
    }
    if ! [ingest_time] {
      ruby {
        code => "event['ingest_time'] = Time.now.utc.strftime '%FT%TZ'"
      }
    }


    if [eventSource] == "elasticloadbalancing" and [eventName] == "describeInstanceHealth" and [userIdentity.userName] == "secret_username" {
      drop {}
    }
  }
}

credential.ini 格式在s3 输入页面有解释；就是这样：

AWS_ACCESS_KEY_ID=
AWS_SECRET_ACCESS_KEY=