是否可以通过提供URL上传到S3？

Question

说白了,就是可以不必读取远程资源到本地服务器,然后把它放在S3的服务器？

所以从某种意义上说,而不是像这样的传输:

S3<--(PUT DATA)--LOCAL<--(REQUEST DATA)--REMOTE_URL

它最终看起来像这样.

S3<--(PUT DATA BY URL)--LOCAL

S3<--(REQUEST DATA)--REMOTE_URL

Answer 1

不可能.

亚马逊没有为S3提供拉取服务,我也没有看到其他人做广告.(虽然这不是一个糟糕的经营理念.)

话虽如此,有很多工具可以帮助解决这个问题!

很多人使用s3fs之类的东西和他们最喜欢的备份工具(即cron + rsync).

最近,我在boto和一些自定义Python脚本方面取得了巨大成功.我喜欢这个的原因是因为它与你在盒子上运行的任何其他服务很好地集成,并提供状态更新.

我编写了一个启动EC2实例的shell脚本,通过SSH连接,将EC2盒从FTP站点下载数据到其本地磁盘,然后将新数据上传到S3.