AWS S3上载失败:RequestTimeTooSkewed

Question

我正在使用

aws s3 sync~/folder/s3:// --delete

将大量文件上载(和同步)到S3存储桶.一些 - 但不是全部 - 文件失败,抛出此错误消息:

上传失败:到s3:// bucketname/folder /调用UploadPart操作时发生客户端错误(RequestTimeTooSkewed):请求时间和当前时间之间的差异太大

我知道这个错误的原因通常是与Internet时间不同步的本地时间,但我正在运行NTP(在我的Ubuntu PC上)并且日期/时间看起来绝对准确 - 并且此错误仅报告为到目前为止我上传的四十个左右的文件中有大约15个.有些文件相对较大 - 每个文件大约70MB - 而且我的上传速度并不理想:S3可能会比较初始和完成时间并将其差异报告为错误吗？谢谢,

Answer 1

时间验证发生在上传到S3的开始时,因此不会与上传时间太长的文件有关.

尝试将您的系统时间与S3报告的内容进行比较,看看是否有任何不必要的时间偏差,只是为了确保:

# Time from Amazon
$ curl http://s3.amazonaws.com -v

# Time on your local machine
$ date -u

(时间以UTC格式返回)

Answer 2

Amazon S3 使用 NTP 作为其系统时钟，以与您的时钟同步。跑步

sudo apt-get install ntp

然后打开/etc/ntp.conf并在底部添加

server 0.amazon.pool.ntp.org iburst
server 1.amazon.pool.ntp.org iburst
server 2.amazon.pool.ntp.org iburst
server 3.amazon.pool.ntp.org iburst

然后运行

sudo service ntp restart

Answer 3

我aws s3 cp在MacBook Pro上的docker容器内运行并出现此错误.重启Docker for Mac修复了这个问题.

Answer 4

现在看来，分段上传在 aws s3 上失败。使用 s3cmd 可以完美地工作。