当文件登陆 S3 时，我们一直使用 AWS S3 通知来触发 lambda 函数，并且该模型运行良好，直到我们注意到某些文件被多次处理，从而在我们的数据存储中生成重复项。我们注意到大约 0.05% 的文件发生了这种情况。
我知道可以通过执行 upsert 来防止这种情况发生，但我们担心的是运行不必要的 lambda 函数的潜在成本，因为这会影响我们的成本。
我搜索过谷歌和 SO，但只发现了类似的问题。我们没有超时问题，因为文件已被完全处理。我们的文件很小，最大的文件不到 400k。我们不会收到两次相同的事件，因为这些事件具有不同的请求 ID，即使它们在同一个文件上运行。