可以在AWS S3存储桶中找出文件依赖关系吗？

Question

源目录包含许多大型图像和视频文件.

需要使用该aws s3 cp命令将这些文件上载到AWS S3存储桶.例如,作为此构建过程的一部分,我将我的图像文件复制my_image.jpg到S3存储桶,如下所示:aws s3 cp my_image.jpg s3://mybucket.mydomain.com/

我手动将此副本发送到AWS没有问题.我也可以编写脚本.但是我想使用makefile上传我的图像文件,my_image.jpg 如果我的S3存储桶中的同名文件比我的源目录中的文件旧.

通常make非常擅长基于文件日期的这种依赖性检查.但是,有什么方法可以告诉我make从S3存储桶中的文件获取文件日期并使用它来确定是否需要重建依赖项？

Answer 1

AWS CLI有一个s3 sync命令可以为您处理相当数量的此类操作.从文档:

在以下情况下,s3对象将需要复制:

• 两个s3对象的大小不同,
• 源的最后修改时间比目标的上次修改时间新,
• 或者指定的存储区和前缀目标下不存在s3对象.