小编yin*_*ang的帖子

Amazon Kinesis KPL 与 AWS SDK 的优缺点

场景是我将向 kinesis 流写入大量数据(每天 TB 级)。我想知道哪种方法是实现高写入吞吐量的更好方法。我正在为生产者客户考虑以下两种选择。

选项 1:使用 Kinesis 生产者库 (KPL)。

或者

选项 2:AWS 开发工具包 (api)。

我知道 KPL 是在 aws sdk 之上使用的抽象,所以它基本上归结为(KPL with AWS-SDK)或只是 AWS-SDK。根据我的研究,在我看来,AWS-SDK 不提供将多条记录聚合到单个 put 中的能力,而 KPL 确实支持这种聚合(如果这是错误的,请纠正我)。

PutRecords(来自 Kinesis Data Streams API)和 KPL(使用聚合)都提供了高写入吞吐量,问题是这两个选项中哪个更好,为什么?简而言之,有兴趣知道在将数据写入 kinesis 流方面哪个会更快,一旦将其写入流,我就不关心它是如何读取的。也有兴趣了解两种情况下的重试机制差异和异步写入性能。

java amazon-kinesis amazon-kinesis-kpl

9
推荐指数
1
解决办法
1430
查看次数

标签 统计

amazon-kinesis ×1

amazon-kinesis-kpl ×1

java ×1