KAFKA生产者可以读取日志文件吗？

Question

我的应用程序的日志文件在服务器上不断累积.我想通过KAFKA将它们转储到HDFS中.我希望Kafka生产者读取日志文件,将它们发送到Kafka代理,然后将这些文件移动到另一个文件夹.可以让Kafka生产者读取日志文件？另外,是否有可能在Kafka制作人中拥有复制逻辑？

Answer 1

• Kafka在称为主题的类别中维护消息的提要.
• 我们将调用将消息发布到Kafka主题生成器的进程.
• 我们将调用订阅主题的流程并处理已发布消息的消费者.

• Kafka作为由一个或多个服务器组成的集群运行,每个服务器称为代理.

• 因此,在高层次上,生产者通过网络向Kafka集群发送消息,而Kafka集群又向消费者提供这样的服务:

因此,这不适合您想要隐藏日志文件的应用程序.相反,你可以尝试水槽.

Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据.它具有基于流数据流的简单灵活的架构.它具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错性.它使用简单的可扩展数据模型,允许在线分析应用程序.