kafka:提交偏移失败,可重试异常.您应该重试提交偏移量

Question

[oakcciConsumerCoordinator] [组使用者组的自动偏移提交失败:提交偏移失败,可重试异常.你应该重试提交补偿.] []

为什么卡夫卡消费者会出现这种错误？这是什么意思？

我使用的消费者属性是:

fetch.min.bytes:1
enable.auto.commit:true
auto.offset.reset:latest
auto.commit.interval.ms:5000
request.timeout.ms:300000
session.timeout.ms:20000
max.poll.interval.ms:600000
max.poll.records:500
max.partition.fetch.bytes:10485760

出现这种错误的原因是什么？由于这个错误,我猜测消费者现在正在做重复的工作.

我既不使用consumer.commitAsync()也不是consumer.commitSync()

Answer 1

如果消费者捕获 的实例，则会给出此错误RetriableException。

其原因可能多种多样：

• 如果协调器仍在加载组元数据
• 如果组元数据主题尚未创建
• 如果发生网络或磁盘损坏，或者在处理请求时发生各种与磁盘相关或网络相关的 IOException
• 如果服务器在请求完成之前断开连接
• 如果客户端的元数据已过时
• 如果给定分区当前没有可用的领导者
• 如果没有经纪人可以完成请求

从上面的列表中可以看出，所有这些错误都可能是暂时的问题，这就是建议重试请求的原因。