小编bit*_*ttu的帖子

多线程 Kafka Consumer 或 PerPartition-PerConsumer

在实施 kafka 消费者时应该采取什么更好的方法。

目标从 Kafka 读取并写回 db。数百万行

方法 1:每个分区 - 每个消费者 - 等待消息消耗(即写回数据库)然后在轮询循环中继续下一步。

方法 2:每个分区 - 每个消费者 - 将记录发送到工作线程或线程池以写回数据库,然后提交偏移量并继续轮询。需要注意抵消管理。在这种情况下,不要等待消息写回数据库。继续轮询,将消息传递给工作线程。

关于他们两个的任何见解?

谢谢

apache-kafka kafka-consumer-api

6
推荐指数
1
解决办法
4210
查看次数

标签 统计

apache-kafka ×1

kafka-consumer-api ×1