Kafka：来自 SyncGroup 的错误，请求超时

Question

最近，我们在使用 Java Kafka API 时经常遇到“SyncGroup 错误：请求超时”的情况。

此问题通常发生在 Kafka 集群中的少数主题或消费者组中。有谁可以提供有关此错误的一些指示吗？作为解决方法，如果我更改消费者组名称，我就不会看到错误。代理版本：0.9.0 卡夫卡客户端版本：0.9.0.1

Exception in thread "main" org.apache.kafka.common.KafkaException: Unexpected error from SyncGroup: The request timed out.

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$SyncGroupRequestHandler.handle(AbstractCoordinator.java:444)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$SyncGroupRequestHandler.handle(AbstractCoordinator.java:411)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:665)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:644)

at org.apache.kafka.clients.consumer.internals.RequestFuture$1.onSuccess(RequestFuture.java:167)

at org.apache.kafka.clients.consumer.internals.RequestFuture.fireSuccess(RequestFuture.java:133)

at org.apache.kafka.clients.consumer.internals.RequestFuture.complete(RequestFuture.java:107)

at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient$RequestFutureCompletionHandler.onComplete(ConsumerNetworkClient.java:380)

at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:274)

Answer 1

@zer0Id0l

我们最近也遇到了同样的问题。发生这种情况是因为某些 Kafka Streams 消息具有比常规消息更多的元信息足迹（当您不使用 Kafka Streams 时）。要解决此问题，请转到__consumer_offsets主题设置并将max.message.bytes参数设置为高于默认值。例如，在我们的例子中，我们有max.message.bytes = 20971520。这将彻底解决你的问题。