一段时间后,Kafka制作人无法更新元数据

Question

我有一个kafka环境,有3 brokers和1 zookeeper.在我的主题中,我已经推出了大约20K的消息.Apache Storm正在计算生产者添加的主题中的数据.

几个小时后,当我尝试向kafka发送消息时,它显示以下异常

org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

重启kafka服务器后工作正常.但是production我无法每次都重启我的服务器.所以任何人都可以帮我解决我的问题.

我的kafka配置如下:

prodProperties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"list of broker");
prodProperties.put(ProducerConfig.ACKS_CONFIG, "1");
prodProperties.put(ProducerConfig.RETRIES_CONFIG, "3");
prodProperties.put(ProducerConfig.LINGER_MS_CONFIG, 5);

Answer 1

虽然 Kafka 生产者调整是一个相当困难的话题，但我可以想象你的生产者正在尝试以比传输到 Kafka 集群的速度更快的速度生成记录。

有一个生产者设置buffer.memory定义了生产者在阻塞之前可以使用多少内存。默认值为 33554432 (33 MB)。

如果增加生产者内存，就可以避免阻塞。尝试不同的值，例如 100MB。