Kafka Stream：消费者提交频率

Question

有了至少一次的保证，我知道发生故障的情况下可能会重复。但是，
1）Kafka Stream库执行提交的频率如何？
2）除了上述内容，用户是否还需要考虑提交？
3）是否有关于执行提交频率的最佳实践？

Answer 1

Kafka Streams定期提交可通过参数配置的提交commit.interval.ms（默认为30秒；如果启用了一次处理，则默认为100毫秒）。

通常，用户无需手动提交。请注意，用户不能完全控制提交，而只能请求提交：cf。如何使用Kafka Stream手动提交？

提交是同步点，如果提交的频率太高（对于每个处理的记录之后的一个极端示例），吞吐量可能会大大下降。它也高度依赖于应用程序，因为提交频率决定了应用程序处理多少个潜在重复项（这也取决于输入数据速率）。因此，您需要考虑在失败的情况下您愿意容忍多少重复项。它还取决于应用程序重新处理数据所花费的时间：在这段时间内，应用程序可能不完全可用。总体而言，很难给出建议，您需要单独考虑每个应用程序的描述权衡。