从AWS Redshift到S3的AWS Glue ETL作业失败

Question

我正在尝试将AWS Glue服务ETL某些数据从redshift迁移到S3。爬网程序成功运行并在数据目录中创建了元表，但是，当我运行ETL作业（由AWS生成）时，它在大约20分钟后失败，并说“ Resource unavailable”。

我看不到在Cloudwatch中创建的AWS粘合日志或错误日志。当我尝试查看它们时，它说：“找不到日志流。找不到日志流jr_xxxxxxxxxx。检查它是否已正确创建，然后重试。”

如果您能提供解决此问题的任何指导，我们将不胜感激。

Answer 1

因此，基本上，如果在您的Glue所在区域没有太多的流量，添加到Glue的作业将运行。如果没有可用资源，则需要再次手动重新添加作业，或者还可以通过SNS将自己绑定到CloudWatch的事件。

此外，还有可以传递给作业的参数，例如maximunRetry和timeout。

如果您有Ressource not available，它将不会触发重试，因为作业没有失败，甚至都没有开始。但是，如果你设置timeout，以让我们说60 minutes，这将在此时间之后触发一个错误，你的递减重试池，然后重新启动这项工作。

Answer 2

我看到的与 Glue 文档最接近的内容是：

\n\n

\n

如果您在 AWS Glue 中遇到错误，请使用以下解决方案来帮助您找到问题根源并修复它们。注意 AWS\n Glue GitHub 存储库在 AWS Glue 常见问题中包含其他故障排除指南。错误：资源不可用 如果 AWS Glue 返回资源不可用消息，您可以查看错误消息或日志以帮助您了解有关该问题的更多信息。以下任务描述了故障排除的一般方法。\xe2\x80\xa2 不进行反向查找的自定义 DNS\n 配置可能会导致 AWS Glue 失败。检查\n您的 DNS 配置。如果您使用的是 Amazon Route 53 或 Microsoft Active Directory，请确保存在正向和反向查找。有关更多信息，请参阅在 VPC 中设置 DNS (第 23 页)。\n \xe2\x80\xa2 对于您使用的任何连接和开发终端节点，请检查\n 您的集群是否没有用完弹性网络接口。

\n

\n