Kafka Consumer:使用自动提交的优点和缺点

Question

我正在建立一个消费者,我想确保从Kafka主题中读取和处理每条消息.虽然自动提交功能很吸引人,但我希望能够完全控制偏移量 - 这意味着,如果处理顺利,我只想提交偏移量.

但是,我不确定将自动提交变为false的缺点.什么是转动自动提交的PRO和CON？会慢一点吗？具有相同消费者名称的多个消费者是否会对此实施产生问题？

Answer 1

性能实际上取决于您如何实现它 - 您可以同步或异步地提交偏移量,对于确定您希望如何提交偏移量这一事实有不同的保证.通常,当您不手动提交偏移时,您可以更好地控制它 - 就像您想要的那样.但是有一些警告,比如,commitSync或者commitAsync提交通过轮询获得的偏移,所以如果你在处理循环的中间提交,并且应用程序崩溃,那么你将丢失数据.

"Kafka.权威指南"有关于提交和抵消的重要部分 - 我建议阅读它 - 汇编免费分发该书的PDF.