如何在 CloudWatch 订阅中分配特定的 Kinesis 分片

Question

如果您计划向特定 Kinesis 流订阅比单个分片可以处理的更多 Clo​​udWatch 日志数据，是否可以通过添加多个分片来扩展您的流，然后跨这些分片分发多个 CloudWatch 日志订阅？

这里的文档对分片处理进行了一些掩饰，仅引用“shardId-000000000000”。

API文档（至少对于 .NET SDK）建议在创建订阅时指定目标 arn，但我的理解是 arn 不能比 Kinesis Stream 更具体，但我不认为单个分片已分配 arns。

本质上，如果您计划订阅的 CloudWatch 数据多于单个分片可以处理的数据，有没有办法将您的流“扩展”为多分片流（同时使用 CloudWatch 订阅并避免编写自定义客户端来处理数据），或者是否严格需要“横向扩展”为多个单分片流？

Answer 1

我从我的组织的 AWS 代表那里收到了这样的答复：

CloudWatch 订阅根据以下所有参数在内部为每条消息创建一个 PartitionKey：ownerId、logGroupName和logStreamName。

由于文档中没有提及，我假设分片分区键几乎被 CloudWatch 订阅系统忽略，但相反，您似乎自动获得了一个相当不错的机制来在流的分片之间分发消息。