解决 AWS Step Function Map 并发限制

Question

我Map在 AWS Step Function 中有一个任务，它并行执行 100-200 个 lambda，每个运行几分钟，然后收集结果。但是，我遇到了限制，并非所有 lambda 都会启动一段时间。相关的 AWS 文档称您可能会遇到超过 40 个项目的限制，这正是我所遇到的情况。

有人有解决此并发限制的经验吗？我可以嵌套地图，还是可以将我的任务放入并行运行的多个地图中？

Answer 1

在映射状态中使用嵌套状态机，这样您就可以有大约 40 个子状态机并行执行。然后在每个子状态机内部使用映射状态并行处理约 40 个项目。这样您就可以并行处理约 1600 个项目。

但在此之前，您将达到 AWS Step Functions 配额：

https://docs.aws.amazon.com/step-functions/latest/dg/limits.html

Answer 2

我最终解决了这个 40 个项目的限制，方法是Map在 a 中创建 10 个任务副本Parallel，并将任务信息存储起来以在这 10 个副本之间拆分任务。这意味着我现在可以在遇到限制问题之前运行约 400 个任务。我的状态机看起来像这样：