AWS DMS - 计划的数据库迁移

Question

我在 RDS 中有 Postgresql 数据库。我需要每小时从 postgresql 数据库中的一堆表中获取数据并将数据推送到 S3 存储桶中。我只希望每小时发送增量更改（任何新的插入/更新）。是否可以使用 DMS 来完成此操作，或者 EMR 是执行此活动的更好工具吗？

Answer 1

您可以使用 AWS DMS（数据迁移服务）任务创建将数据从 RDS 迁移到 S3 的自动化环境。

1. 创建源端点（读取您的 RDS 数据库 - Postgres、MySQL、Oracle 等...）；
2. 使用 S3 作为引擎终端节点创建目标终端节点（阅读：使用 Amazon S3 作为 AWS Database Migration Service 的目标）；
3. 创建一个复制实例，负责在源数据和目标端点之间建立桥梁（您只需在处理时付费）；
4. 使用迁移类型字段上的“仅复制数据更改”选项创建数据库迁移任务；
5. 创建一个 cron lambda，它使用堆栈 Python 启动 DMS 任务，遵循本文带有计划事件的 Lambda e在 Python 中使用 boto3 启动 DMS 任务 的说明。

连接上面的这些资源也许就能得到你想要的。

问候，

雷南·S.