使用属性文件配置kafka主题

Tom*_*mer 5 apache-kafka docker kafka-python

我想为Kafka配置一些主题及其独特的保留设置。因此,当我启动Kafka时,它将使用这些设置加载server.properties文件。

我发现的唯一方法是启动Kafka,然后使用kafka-topics.sh脚本启动和配置主题。

例:

bin/kafka-topics.sh --zookeeper zk.yoursite.com --alter --topic as-access --config retention.ms=86400000
Run Code Online (Sandbox Code Playgroud)

我在docker上使用Kafka,因此,除了将入口点设置为启动Kafka的实际脚本之外,我需要创建自己的脚本来启动Kafka并运行一些shell命令来配置这些主题。另外,如果我需要自己创建这些主题,则需要启动并创建一些与已经存在的主题有关的逻辑。而且我不想走那条路。

cri*_*007 0

需要创建我自己的脚本来启动 Kafka 并运行一些 shell 命令来配置这些主题

  1. wurstmeister/kafka已经支持KAFKA_CREATE_TOPICS用于此目的的环境变量

  2. 建议您使用第二个“init 容器”(或 shell 脚本docker run/compose)等待其他 kafka 容器启动并保持健康,然后进行主题创建。相关答案

  3. 只需在客户端代码中使用 AdminClient API 即可在运行生产者或消费者之前创建主题。