如何在AWS s3和AWS ec2之间传输文件

Question

我正在使用AWS ec2实例.在这个例子中,我得到了一些文件.这些操作由用户数据完成.

现在我想通过在用户数据本身中编写代码来将这些文件存储在s3上.

• 那么如何在s3上存储这些文件呢？
• 有任何教程吗？

Answer 1

使用最新的AWS CLI(http://aws.amazon.com/cli/),您可以使用以下命令将文件从Ec2实例甚至本地计算机复制到S3存储.

aws s3 cp myfolder s3://mybucket/myfolder --recursive

然后你会得到类似的东西:

upload: myfolder/file1.txt to s3://mybucket/myfolder/file1.txt 
upload: myfolder/subfolder/file1.txt to s3://mybucket/myfolder/subfolder/file1.txt

如果这是您第一次使用awsCLI工具,那么您需要运行:

aws configure

这将要求您输入访问密钥和密钥以及指定默认区域.

Answer 2

有多种方法可以将文件发送到S3.我在下面列出了它们以及相关的安装和文档.

• S3CMD:(http://s3tools.org/s3cmd)您可以通过apt-get install s3cmd轻松地在debian/ubuntu上安装,然后从命令行运行.您可以将其合并到bash脚本或程序中.

• S3FS :( http://www.pophams.com/blog/howto-setups3fsonubuntu1104x64和https://code.google.com/p/s3fs/wiki/InstallationNotes)...这会安装一个s3存储桶,以便它看起来就像本地磁盘一样.设置需要花费更多的精力,但是一旦安装了磁盘,您就不需要做任何特殊的事情来获取存储桶中的文件.

• 如果您使用CMS(以Drupal为例),您可以选择使用模块来处理对存储桶的访问,例如http://drupal.org/project/storage_api

• 最后,您可以使用编程语言实现自己处理所有逻辑,对于PHP,您可以从这个http://undesigned.org.za/2007/10/22/amazon-s3-php-class开始,并在此处查看文档http ://undesigned.org.za/2007/10/22/amazon-s3-php-class/documentation

PHP实现的一个示例:

<?php

    // Simple PUT:
    if (S3::putObject(S3::inputFile($file), $bucket, $uri, S3::ACL_PRIVATE)) {
        echo "File uploaded.";
    } else {
        echo "Failed to upload file.";
    }

?>

s3cmd的一个例子:

s3cmd put my.file s3://bucket-url/my.file

编辑

值得一提的另一个选择是AWS CLI http://aws.amazon.com/cli/ 这是广泛可用的,例如它已经包含在AmazonLinux中,可以通过Python下载(安装在许多系统上,包括linux和windows) .

http://docs.aws.amazon.com/cli/latest/reference/s3/index.html

可用命令,cp ls mb mv rb rm同步网站

用于与S3交互的http://docs.aws.amazon.com/cli/latest/reference/s3api/index.html

Answer 3

将s3cmd软件包安装为:

yum install s3cmd

要么

sudo apt-get install s3cmd

取决于您的操作系统.然后用这个复制数据:

s3cmd get s3://tecadmin/file.txt

也ls可以列出文件.

对于更多的detils看到这个

Answer 4

我正在使用s3cmd来存储我的ec2实例中每晚导出的数据库备份文件.配置s3cmd后,您可以在其站点上阅读,然后可以运行如下命令:

s3cmd put ./myfile s3://mybucket

Answer 5

使用s3cmd为:

s3cmd get s3://AWS_S3_Bucket/dir/file

了解如何在此处安装s3cmd :

这对我有用......