org.apache.kafka.common.errors.RecordTooLargeException：请求包含的消息大于服务器可接受的最大消息大小

Question

我使用 kafka 2.11，出现以下异常

2019-03-15 16:41:19.469 错误 32539 --- [广告 | Producer-1] osksupport.LoggingProducerListener ：发送带有 key='null' 且有效负载='[{"id":1,"name":"Tow Motor","description":"Tow motor is moving 的消息时抛出异常从第二行","xcoordinate":"2264"...' 到主题 Kafka_Json1：

org.apache.kafka.common.errors.RecordTooLargeException：请求包含的消息大于服务器可接受的最大消息大小。

Answer 1

message.max.bytes=100000000 // 增加 server.properties 文件的大小 例如 100 MB

max.request.size=100000000 // 在 Producer.properties 文件中 例如 100 MB

max.partition.fetch.bytes=100000000 // 在consumer.properties 文件中，以便consumer 可以接收数据 Say Ex 100 MB

并重启kafka代理

Answer 2

默认情况下，Kafka 接受大小为 1 MB 的消息。您的邮件大小超过了默认大小。

您需要更改属性 max.request.size、message.max.bytes 和 max.partition.fetch.bytes 的值来解决此问题。