将数据从AWS S3复制到Aurora Postgres

Question

我正在尝试将数据从AWS S3复制到Aurora Postgres.目前我的流程如下:

1. 从本地S3下载文件(在EC2实例上)
2. 运行" COPY FROM STDIN ..."命令将数据从输入流加载到Aurora postgres.

我想知道是否有命令直接从S3复制到Aurora postgres.

Answer 1

AWS 的这篇博客文章提到可以使用AWS 数据库迁移服务来实现这一点

https://aws.amazon.com/blogs/database/stream-data-into-an-aurora-postgresql-database-using-aws-dms-and-amazon-kinesis-data-firehose/

AWS DMS 可以从源 S3 存储桶读取数据并将其加载到目标数据库中。为此，请提供对包含一个或多个数据文件的 S3 存储桶的访问权限。在该 S3 存储桶中，包含一个 JSON 文件，该文件描述数据与这些文件中数据的数据库表之间的映射。

源数据文件必须采用逗号分隔值 (CSV) 格式。使用如下所示的命名约定来命名文件。在此约定中，schemaName 是源模式，tableName 是该模式中表的名称。