AWS Glue 截断 Redshift 表

Question

我创建了一个 Glue 作业，将数据从 S3（csv 文件）复制到 Redshift。它可以工作并填充所需的表。

但是，我需要在此过程中清除表，因为在该过程完成后我留下了重复的记录。

我正在寻找一种方法将这种清除添加到胶水过程中。任何意见，将不胜感激。

谢谢。

Answer 1

您看过Glue 中的工作书签吗？这是一个保持高水位线的功能，仅适用于 s3。我不是 100% 确定，但可能需要进行分区。