如何在logstash过滤器中使用redis？

Question

我正在将 ELK+Redis 从非常旧的版本升级到最新版本。

ES 1.6 to 7.4
LS 1.4 to 7.4
Redis 2.8 to 5.0

我把所有东西都重新安装在一台新机器上。一切都很顺利，除了一件事：logstash-filter-redis 插件

这是我的logstash conf 文件

input
  {
    redis {
      host
      port => 6380
      data_type
      key
    }
  }
filter {
  grok {
    match => [ "message", "" ]
  }
  redis {
    host => ""
    port => 6379
    key => ""
    }
output {
  elasticsearch {
    host => ""
    index => ""
  }

在这里，输入 { } 内的第一个 redis:6380 用于获取日志（用作logstash 输入源）

而第二个 redis:6379 在过滤器 { } 内被调用以获取与这些日志关联的数据。

我在https://www.elastic.co/guide/en/logstash/current/filter-plugins.html上看不到任何logstash-filter-redis插件

有人可以帮我吗？

谢谢

Answer 1

Logstash 中确实不支持 Redis 过滤器。您可以通过 synlay和meulop找到两个社区过滤器，但我不确定它们的支持和维护情况如何。

我最近刚刚了解到另一种丰富 Redis 数据的方法，即通过ruby如下过滤器访问 Redis：

filter {
   ...
   ruby {
      init => 'require "redis"; $rc = Redis.new(path: "/var/run/redis/redis.sock", db: 0)'
      code => 'event.set("enriched_field", $rc.get(event.get("key_field")))'
   }
}