如何在 Amazon Redshift 上执行预定的 SQL 脚本？

Question

我在 Redshift 中每小时自动执行一系列 ~10 个查询（可能报告成功/失败）。

大多数查询都是在我的表上聚合的。

我曾尝试将 AWS Lambda 与CloudWatch Events 结合使用，但 Lambda 函数最多只能存活 5 分钟，而我的查询可能需要长达 25 分钟。

Answer 1

有点奇怪的是，AWS 不提供简单的分布式 cron 风格的服务。它对很多事情都有用。有SWF，但时间/调度方面由用户决定。您可以使用 Lambda/Cloudwatch 触发 SWF 事件。要获得合理的类似 cron 的活动需要很大的开销。

正如评论所说，最简单的方法是运行一个小型实例并在那里托管 cron 作业。使用 1 的自动缩放组以获得一定的可靠性。一种类似但更复杂的方法是使用elastic beanstalk。

如果您确实想要冗余、可靠性、可见性等，那么可能值得考虑像Airflow这样的第三方解决方案。还有许多其他语言，具体取决于您的偏好语言。

这是一个带有更多信息的类似问题。