在实施 kafka 消费者时应该采取什么更好的方法。
目标从 Kafka 读取并写回 db。数百万行
方法 1:每个分区 - 每个消费者 - 等待消息消耗(即写回数据库)然后在轮询循环中继续下一步。
方法 2:每个分区 - 每个消费者 - 将记录发送到工作线程或线程池以写回数据库,然后提交偏移量并继续轮询。需要注意抵消管理。在这种情况下,不要等待消息写回数据库。继续轮询,将消息传递给工作线程。
关于他们两个的任何见解?
谢谢
apache-kafka kafka-consumer-api
apache-kafka ×1
kafka-consumer-api ×1