如何同时运行EMR群集步骤？

Question

嗨,我有一个EMR集群.每当我向它提交"步骤"时,它会按顺序运行它们.有没有办法同时运行"步骤"？

或者,如果您想要并发,是否适合同时启动多个集群？

Answer 1

每个步骤都在集群中同时处理。因此，实际上，如果您有可以同时完成的工作，您可能会考虑将其全部放在同一步骤中（每个步骤可以有 1 个或多个 Hadoop 作业）。

通常，当您想要确保在进入下一步之前完成后续步骤需要完成的所有处理时，您可以使用步骤。一个很好的例子是，当您处理加密数据时，可能有一个步骤来解密数据，一个步骤来处理数据，以及一个附加步骤来在持久化之前重新加密数据。