如何使用 aws Lambda 处理作为一组上传到 s3 的多个相关文件

Question

我有多个相关文件作为组上传到 S3 存储桶，我想使用 aws Lambda 对其进行处理。例如，externaly、inventory.txt、orders.txt、order_details.txt 会在 s3 存储桶的一个文件夹中接收。这些是一批的一部分。其他人将在同一存储桶的另一个文件夹中发送相同的文件。我想同时处理这些文件（清理、合并等）（因此同时处理 3 个文件）。

我在 S3 创建对象事件级别上尝试过 Lambda，但它会为每个上传的文件触发。我希望 lambda 触发 3 个文件（以及另一个目录中的其他 3 个文件（如果适用））。

Answer 1

上传过程完成后，使其创建一个触发文件（虚拟文件）。例如，您的流程在复制完成后上传orders.txt、s3://my-bucket/today_date/ inventory.txt s3://my-bucket/today_date/today_date.complete 。

将 S3 事件触发器添加到您的 lambda 函数中，以便在.complete文件上传到 S3 时执行，并使用 lambda 处理其余文件并删除 .complete 文件。第二天重复该过程。