由于身份验证,gsutil无法复制到s3

Question

我需要将许多(1000+)个文件从GCS复制到s3以利用AWS lambda函数.我已经编辑~/.boto.cfg并注释掉了2个aws身份验证参数,但是GCE或EC2 VM出现了简单的gsutil ls s3://mybucket故障.

错误是The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256..

我用的gsutil版本:4.28和位置GCS和S3桶分别是US-CENTRAL1和US East (Ohio)-的情况下,这是相关的.

我无能为力,因为AWS密钥有效,我启用了http/https.从GCS下载并使用我的笔记本电脑的Cyber​​duck上传到S3是不切实际的(> 230Gb)

Answer 1

按照https://issuetracker.google.com/issues/62161892,gsutilv4.28 不支持AWS加入到V4签名,~/.boto新的[s3]部分像

[s3]
# Note that we specify region as part of the host, as mentioned in the AWS docs:
# http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region
host = s3.eu-east-2.amazonaws.com
use-sigv4 = True

该部分的使用是继承的,boto3但目前尚未创建,gsutil config因此需要为目标端点明确添加.

对于s3到GCS,我会考虑更少的服务器Storage Transfer ServiceAPI.