如何高效地将数据从 Postgres 传输到 Amazon Redshift？

Question

我的机器上的本地Postgres 数据库中有很多数据。我需要对该本地数据库中存在的数据进行非规范化，并获取特定格式的查询集，该查询集可以使用Python直接加载到 Redshift 表中。

我确实有可以在本地数据库上运行的查询，并获取需要直接加载到Redshift 的特定格式的查询集。

但有太多数据需要从本地转移到Redshift。目前，我能想到的唯一更好的方法是将我获得的查询集导出到.csv文件中，该文件将上传到S3 存储桶，该存储桶将使用 Python 直接复制到 Redshift 表中。

我只是想知道是否有其他方法可以做到这一点。比如直接从Postgres 数据库流式传输到AWS Redshift

请告诉我上传和转储 .csv 是否是更好的方法，或者是否有其他有效的方法来实现此目的。

Answer 1

您拥有的另一个选项（可能是更好的选项）是使用 AWS DMS（数据库迁移服务）。