如何将数据从 S3 存储桶传输到 Kafka

Question

有关于将数据从 Kafka 主题复制到 S3 的示例和文档，但是如何将数据从 S3 复制到 Kafka？

Answer 1

根据您的场景或所需的上传对象的频率，您可以在每个事件上使用 Lambda 函数（例如，每次上传文件时）或将其用作 cron。该 lambda 使用 Kafka API 作为生产者并发布到主题。

规格：

• Lambda 函数的触发器可以是直接s3:PutObject来自 s3 的事件或cloudwatch events。
• 如果您不需要立即使用这些对象，您可以将lambda 作为 cron运行。在这种情况下，替代方案还可以在 EC2 实例上运行 cron，该实例具有 Kafka 生产者和从 s3 读取对象的权限，并不断将它们推送到 kafka 主题。