是否可以从HTTP URL获取数据到Logstash？

Question

正如标题所说,我需要将数据(CSV或JSON)直接提供给logstash.我想要的是设置一个过滤器,比如CSV,它直接从一些http://example.com/csv.php读取内容到Logstash而不涉及任何middleman脚本.

Answer 1

如果我理解正确,您将尝试重复调用http资源并将数据提取到logstash中.所以你正在寻找输入而不是过滤器.

Logstash 刚刚发布了一个新的http poller输入插件.使用后安装它bin/plugin install logstash-input-http_poller可以设置这样的配置来调用您的资源:

input {
  http_poller {
    urls => {
      myresource => "http://example.com/csv.php"
      }
    }
    request_timeout => 60
    interval => 60
    codec => "json" # set this if the response is json formatted
  }
}

如果响应包含CSV,则需要设置csv过滤器.

filter {
    csv{ }
}

还有插件在过滤器部分中执行http请求.然而,这些应该丰富现有的事件,而这似乎并不是你想要的.