AWS Glue 作业中的资源不可用错误

Question

我们正在使用 AWS Glue 服务将 json 文件转换为镶木地板。胶水作业间歇性失败，资源不可用错误。任何人都可以帮助我们如何解决相同的问题？

Answer 1

我也经历过几次“资源不可用”异常，但它是在他们这边（服务），并且他们正在积极努力改进它。

我已经开具了关于此异常的支持票，他们说：

Glue 在后端创建一个新的 Spark 环境，以便运行根据账户 ID、IAM 角色、子网 ID 和安全组提交的作业。在不同的 IAM 用户下运行 Glue 作业可能有助于缓解此问题。通过这样做，Glue 在后端创建一个新的 Spark 环境，以便运行不同 IAM 角色或不同 accountID 提交的作业。

因此，如果您的账户同时运行多个作业并且不断出现“资源不可用”错误，我建议您创建不同的 IAM 角色并在它们之间拆分作业，以缓解此特定问题。