AWS CLI：在 2 个不同的 s3 提供商之间进行 aws 同步

Question

有人有在 2 个不同的 s3 提供商之间同步存储桶的解决方案吗？

例如，一个是 Amazon S3，第二个是 Wasabi S3？

这涉及 2 个不同的端点和 2 组不同的凭据。

最好不先在本地存储数据，大约1+百万个文件。

Answer 1

有一个很棒的开源工具“rclone”可以处理这个问题。

它允许在任何两个 S3 兼容对象存储之间进行同步 - 我将它用于 Minio 到 AWS S3

https://rclone.org/commands/rclone_sync/

Answer 2

这是不可能的。

\n\n

在 Amazon S3 中，即使在不同区域，也可以在两个存储桶之间直接进行复制，因为每个区域中的 S3 服务都会相互通信。

\n\n

对于非亚马逊服务来说这是不可能的。

\n\n

因此，您最好的选择是启动 EC2 实例，用于aws s3 sync下载文件，然后使用aws s3 sync（使用不同的端点和凭据）连接到 Wasabi。

\n\n

S3 兼容提供商可能会提供更简单的方法，但 Wasabi 似乎推荐“下载并复制”方法：How do I copy files from AWS S3 to Wasabi? \xe2\x80\x93 芥末知识库

\n