相关疑难解决方法(0)

我有相当多的数据(~30G,分成~100个文件)我想在S3和EC2之间传输:当我启动EC2实例时,我想将数据从S3复制到EC2本地磁盘尽可能快,当我完成处理时,我想将结果复制回S3.

我正在寻找一种能够来回快速/并行复制数据的工具.我有几个被破解的脚本,包括一个做得不错的工作,所以我不是在寻找基本库的指针; 我正在寻找快速可靠的东西.

将数据从一个 s3 连续复制到另一个 s3 存储桶的最佳方法是什么？我了解 S3 支持事件通知并将其发送到 lambda、SNS 和 SQS，但我不确定可以选择做什么？我应该触发 lambda 函数来接收来自 S3 的记录并将它们复制到另一个 s3 中吗？我应该使用 SNS 还是 SQS 来做到这一点？

有什么方法可以使用 AWS 命令​​行将本地文件夹与包含句点“.”的存储桶同步？

如果我这样做：

aws s3 sync local_folder/ s3://files.domain.com/backup

我收到此错误：

致命错误：名为 files.domain.com 的存储桶与 DNS 不兼容。不能使用虚拟托管式寻址。可以通过在 AWS Config 文件或 botocore.client.Config 对象中删除addressing_style 值或将该值设置为“path”或“auto”来配置寻址样式。

我已经尝试删除或更改addressing_styleAWS 配置中的值，但没有奏效。我不知道如何在 botocore 上进行更改。

AWS 配置

[default]
output = json
region = us-west-1
s3 =
  max_concurrent_requests = 100
  max_queue_size = 10000
  multipart_threshold = 64MB
  multipart_chunksize = 16MB
  use_accelerate_endpoint = true