小编Thi*_*rto的帖子

我正在尝试使用Amazon Kinesis作为平台的中央事件日志来实现事件驱动的体系结构.这个想法与Nordstrom与Hello-Retail项目提出的想法非常相似.

我之前和Apache Kafka做过类似的事情,但是Kinesis似乎是Kafka的一个经济有效的替代品,我决定试一试.但是,我面临着与事件持久性和重放相关的一些挑战.我有两个问题:

1. 你们是使用Kinesis这样的用例还是你推荐使用它？
2. 由于Kinesis无法永久保留事件(如Kafka所做的那样),如何处理来自消费者的重播？

我目前正在使用lambda函数(Firehose也是一个选项)将所有事件持久保存到Amazon S3.然后,可以从存储中读取过去的事件,然后开始收听来自流的新事件.但我对这个解决方案不满意.消费者无法使用Kinesis的检查点(Kafka的消费者抵消).另外,Java的KCL还不支持AFTER_SEQUENCE_NUMBER,这在这种实现中很有用.