如何使用 librdkafka 设置 Kafka 消息的最大大小

Question

我正在尝试使用 Kafka 发送 ~10Mb 的消息。我知道它的默认大小是 1Mb，但这是一个硬性限制吗？librdkafka 可以支持 >10Mb 吗？如何设置？

Answer 1

您需要配置主题max.message.bytes（请参阅https://kafka.apache.org/22/documentation.html#topicconfigs），并配置生产者message.max.bytes（请参阅https://github.com/edenhill/librdkafka/blob/master/配置.md）。请为协议开销留出一些额外空间（至少约 500 字节）。