使用 AWS Data Pipeline 删除/截断 DynamoDB 表

Question

我已经设置了一个数据管道，它根据预定义的示例将文件从 S3 存储桶导入到 DynamoDB 表。每次导入作业开始时，我都想截断表（或删除并创建一个新表）。当然，这可以通过 AWS SDK 实现，但我只想通过使用数据管道来实现。

有可能这样做吗？

谢谢你的帮助

Answer 1

我不确定您是否仍然需要执行此操作，因为您在几个月前问过它，但由于互联网上缺乏有关此主题的信息，我决定创建一个教程并将其发布在此处以帮助其他人面临同样的情况。

这对我有用。

基本上你需要以下内容：

• S3 存储桶（您将在其中上传要执行的 shell 脚本）
• AMI EC2（这将执行上面的脚本）
• 管道（已将 DynamoDB 数据导入 S3 存储桶）

如果您已经拥有了所有这些，那么我们就可以开始了！

按着这些次序：

1. 添加一个活动并将其命名为“CleanTableJob”

2. 在 CleanTableJob 上相应地设置设置：（ On Runs on -> Select New Resource 并将其命名为 CleanDynamodbTableResource）

3. 在 CleanDynamodbTableResource 上相应地设置设置：

4. 在您的 S3 存储桶上，您可以提供任何处理在 DynamoDB 上删除数据的内容，如下所示：

   java -jar /home/ec2-user/downloads/dynamodb_truncate_table-1.0-SNAPSHOT.jar

5. 就是这样：

希望能帮到大家