使用Kafka替代Filebeats和Logstash

Question

我是ELK堆栈的新手，我只是想知道是否可以使用Kafka将我们的日志文件发送到Elasticsearch。但我需要Logstash的工作（解析使用滤镜一样日志神交 ）在卡夫卡要做为好。这整个事情可能吗？基本上，我想做的是用Kafka替换Filebeats和Logstash的组合，我想知道是否可行。

谢谢 ：）

注意：我想做的是在Kafka中发送和解析日志。我知道可以使用Elasticsearch连接器将日志传送到Elasticsearch，但是我要问的是，使用Kafka是否可以解析数据（Logstash的工作）。

Answer 1

我将您的问题分为两部分：

1.是否可以在ElasticSearch中为通过kafka流式传输的事件建立索引

是的，如果您将Confluent kafka-connect视为Kafka的一部分。并不是由kafka本身执行索引，而是由kafka-connect接收器连接器配置为从您的kafka主题中使用并为Elasticsearch中的事件建立索引。

您可以在这里找到更多信息：https : //docs.confluent.io/current/connect/kafka-connect-elasticsearch/index.html

2.我可以直接在Kafka中实现Logstash的相同类型的解析，转换和流控制功能吗？

我知道，Kafka唯一可以帮助您完成类似工作的功能是Kstreams（但您必须知道如何使用Kstreams API进行开发）或使用另一个名为KSQL的Confluent软件，该软件可以在顶部进行SQL流处理。 Kafka Topics中的一个更面向Analytics（分析）（即：数据过滤，转换，聚合，联接，窗口和会话化）

您可以在此处找到有关KStreams的更多信息：https ://kafka.apache.org/documentation/streams/

您可以在这里找到有关KSQL的更多信息：https ://docs.confluent.io/current/ksql/docs/index.html

结论

在我看来，如果不使用Kafka Streams API进行编程，就无法获得Logstash / NiFi的所有解析和转换功能，但是您可以使用kafka-connect将数据导入kafka或从kafka中删除。就像Logstash一样，各种各样的技术。

此类设置的一个很好的例子（摘自Confluent）将是：