什么是使用FPT/SCP将文件拉到S3的最佳方法？

Question

每隔几分钟,最好的,轻量级的FPT/SCP文件到S3的方式是什么？所以wget/curl可以工作.另外一个自定义解决方案可以工作,也许Java用DB来维护状态.任何想法都会有所帮助.

Answer 1

只需使用s3cmd或boto或S3命令行工具或者......嗯......相当多的其他选择.

基本上你只是发布到S3 API.您可以使用AWS的无数SDK以几乎任何语言执行此操作.s3cmd但是,它是一个很好的,轻量级的小型CLI工具,可能比您需要的更多.

您的评论表明您正在寻找略有不同的东西.以下是基于文件源和目标的一些建议:

• 如果您要将文件从EC2或本地主机移动到S3,请使用s3cmd.如果您需要定期运行它,请考虑一个cron作业.以下将每五分钟运行一次.

  */5 * * * * s3cmd sync --delete-removed my_local_directory/ s3://my-bucket/path/
  

• 如果您要将文件从S3移动到EC2或本地主机,请使用s3cmd但反转语法:

  */5 * * * * s3cmd sync s3://my-bucket/path/ my_local_directory/
  

• 如果您要将文件从localhost移动到EC2,请考虑scp或rsync.