AWS：在 Redshift 中自动查询

Question

我想自动化每天运行的 redshift 插入查询。

我们实际上使用的是Aws环境。有人告诉我使用 lambda 不是正确的方法。这是在 Redshift 中自动执行查询的最佳 ETL 流程。

Answer 1

要在 Redshift 上自动化 SQL，您有 3 个选项（至少）

简单 - cron 使用 EC2 实例并在其上设置 cron 作业来运行 SQL 代码。

psql -U youruser -p 5439 -h hostname_of_redshift -f your_sql_file

功能丰富 - Airflow（推荐） 如果您有一个复杂的计划要运行，那么值得投入时间学习和使用 apache Airflow。这也需要在服务器（ec2）上运行，但提供了很多功能。

AWS 无服务器 - AWS 数据管道（不推荐）

https://aws.amazon.com/datapipeline/

下面由 John Rotenstein 描述的 Cloudwatch->Lambda->EC2 方法 当您想要以 AWS 为中心时，这是一个很好的方法，它比拥有专用的 EC2 实例更便宜。