复制谷歌存储桶的最快方法是什么？

Question

我有一个 10TB 存储桶，需要尽快创建它的副本。这样做的最快和最有效的方法是什么？

Answer 1

假设您想将存储桶复制到相同位置和存储类别的另一个存储桶，您可以在 GCE 实例上运行 gsutil rsync：

gsutil -m rsync -r -d -p gs://source-bucket gs://dest-bucket

如果您想跨位置或存储类别进行复制，上述命令仍然有效，但需要更长的时间，因为在这种情况下需要复制数据（不仅仅是元数据）。

无论哪种方式，您都应该检查结果状态并在发生任何错误时重新运行 rsync 命令。（rsync 命令将避免重新复制已经复制的对象。）您应该重复 rsync 命令，直到成功完全复制存储桶。

Answer 2

一种简单的方法是使用 Google 的Cloud Storage Transfer Service。它也可能是最快的，虽然我还没有证实这一点。

Answer 3

您可以使用gsutil轻松实现这一点。

gsutil -m cp -r gs://source-bucket gs://duplicate-bucket

您是否在 Google Cloud Storage 中复制到具有相同位置和存储类别的存储分区？如果是这样，这个操作应该非常快。如果存储桶具有不同的位置和/或存储类别，则操作会更慢（并且成本更高），但这仍然是最快的方式。