相当于Google Cloud Platform上的Kafka/AWS Kinesis Stream

Question

我正在构建一个不断附加缓冲区的应用程序,而许多读者独立地使用此缓冲区(一次写入多次读取/ WORM).起初我想过使用Apache Kafka,但由于我更喜欢​​as-a-service选项,我开始调查AWS Kinesis Streams + KCL,看来我可以用它们来完成这项任务.

基本上我需要2个功能:排序(所有读者必须以相同的顺序读取事件)以及从读者开始消费的缓冲区中选择偏移量的能力.

现在我也在评估Google Cloud Platform.在我阅读文档时,似乎建议Google Pub/Sub与AWS Kinesis Stream等效,但在更详细的层面上,这些产品似乎有很多不同:

• Kinesis保证在碎片内部进行订购,而在Pub/Sub订购时则是尽力而为;
• Kinesis具有读者可用的所有缓冲区(限制为最多7天),可以使用偏移量来选择起始读取位置,而在PubSub上,只有订阅后的消息可用于消费.

如果我做对了,PubSub不能被认为是Kinesis的等价物.也许如果与Google Dataflow一起使用？我必须承认,我仍然看不出如何.

那么,PubSub是Kinesis的替代品吗？如果没有,是否有符合我要求的Google云端产品？

谢谢!

Answer 1

Pub/Sub 现在支持本机排序。至于在消费之前要求订阅（~Kafka 中的消费者组）存在的要求，对于用户来说很少有问题。如果不出意外，您可以创建快照，以便将新订阅重置为任何其他现有订阅的状态。

这有点晚了，但是@Renan，如果您仍在观看，很想听听您最终如何构建系统。

Answer 2

一个相当复杂的解决方案，但可能会有所帮助：

• 使用pub / sub将事件推送到单个主题。此时，它们将是无序的。
• 创建一个从pub / sub主题读取的云数据流流传输管道。让它进行流写入至云大查询，然后向每个表条目添加时间戳。
• 您的读者是否对bq表进行查询，请按时间戳顺序进行排序以保持一致的顺序。您可以使用ROW_NUMBER作为偏移量。

希望能有所帮助。