小编jos*_*osh的帖子

如何在阅读后删除kafka消息

我使用以下代码来读取主题中的消息.如何在阅读后删除邮件?

from kafka import KafkaConsumer


    consumer = KafkaConsumer('my-topic',
                             group_id='my-group',
                             bootstrap_servers=['localhost:9092'])
    for message in consumer:
        # message value and key are raw bytes -- decode if necessary!
        # e.g., for unicode: `message.value.decode('utf-8')`
        print ("%s:%d:%d: key=%s value=%s" % (message.topic, message.partition,
                                              message.offset, message.key,
                                              message.value))
Run Code Online (Sandbox Code Playgroud)

python apache-kafka

3
推荐指数
1
解决办法
2601
查看次数

Kafka日志文件夹太大

我们的 kafka 日志文件夹中有大量数据(来自 14 个月)。默认情况下,Kafka 正在编写这些。

Location of server.xml: /install/kafka_2.10-0.8.2.2/config/server.xml

 Here is the setting in server.xml:   log.dirs=/install/kafka-logs
Run Code Online (Sandbox Code Playgroud)
  1. 我想删除去年的日志。这会导致任何问题吗?我需要停止 kafka 还是可以在运行时禁用去年的日志?

  2. 我如何禁用/减少记录到这个文件夹?

logging apache-kafka kafka-producer-api

1
推荐指数
1
解决办法
4359
查看次数