标签: amazon-s3

将 RSYNC 与 Amazon S3 结合使用

我有兴趣使用 Amazon S3 来备份我们的 ~ 100gb 服务器映像(通过 Acronis 备份工具创建)

显然,就带宽和成本而言,每晚上传到 S3 的成本会很高。我正在考虑将 rsync 与 S3 一起使用,但遇到了s3rsync。 我只是想知道是否有人有使用这个或任何其他实用程序的经验?

rsync amazon-s3

42
推荐指数
3
解决办法
6万
查看次数

仅使用少于 1 GB 的 AWS S3 对 4 TB 的存储收费

我在理解我的大 S3 账单时遇到了麻烦,我想在 AWS 每月支持降低 30 美元之前我会在这里问。

基本上,我有一个Amazon EC2实例,它为不同的加密货币交换制作 API,并将响应保存到实例 HD。大约每 5 分钟调用一次,响应对象大约为 100 kb,由R脚本读取,每约 8 分钟添加到一个CSV文件。该 CSV 文件大约每 15 分钟同步到一个Amazon S3存储桶。

CSV 文件通常为 10 MB 左右,用于大约 15 种加密货币,每 15 分钟。因此,查看 Amazon S3 存储桶,最多可能使用 0.5 GB 的空间。

但是,“TimedStorage-ByteHours”的读取大小约为 4 TB!

亚马逊简单存储服务 TimedStorage-ByteHrs 89.55 美元

每 GB 0.000 USD - 每月全球免费 tier5 GB 下的存储 - Mo 0.00 USD

每 GB 0.023 美元 - 使用的前 50 TB/月存储空间 3,893.399 GB - 月 89.55 美元

有任何想法吗?

amazon-s3 amazon-web-services

41
推荐指数
2
解决办法
9075
查看次数

Rsync 到 AWS S3 存储桶

对于我托管网站的服务器,我想将数据和设置备份到 S3 存储桶。我发现您不能直接使用 rsync 备份到 S3 存储桶。是否有另一种方法可以实现以下 rsync 命令将数据备份到 S3 存储桶?

rsync -­av ­/Data /s3bucket
Run Code Online (Sandbox Code Playgroud)

我还想将该服务器上的 mysql 数据库备份到 S3 存储桶。实现这一目标的最佳方法是什么?

最后一个问题,如果我设法将所有内容备份到 S3。如果服务器崩溃或在最坏的情况下完全擦除,恢复服务器的最佳方法是什么?我必须自己记下服务器设置并重新配置服务器还是有办法备份它?

backup rsync amazon-s3 amazon-web-services

34
推荐指数
2
解决办法
4万
查看次数

如何重用 CloudFormation 中的现有资源?

我的 CloudFormation 模板中有一个 S3 存储桶作为资源,DeletionPolicy设置为Retain. 这按预期工作:删除堆栈时,它确实保留了存储桶。但是,当我尝试再次创建堆栈时,尝试再次创建同一个存储桶时创建失败,并显示一条错误消息,抱怨它已存在。

我需要向我的 CloudFormation 模板添加什么才能使其不尝试重新创建已存在的资源?

我的模板相关片段如下:

      "Resources": {
        "SomeS3Bucket" : {
          "Type" : "AWS::S3::Bucket",
          "DeletionPolicy" : "Retain",
          "Properties": {
              "BucketName": "SomeS3Bucket"
              }
          }
Run Code Online (Sandbox Code Playgroud)

amazon-s3 amazon-web-services amazon-cloudformation

32
推荐指数
2
解决办法
2万
查看次数

将 CloudFormation 与现有 S3 存储桶结合使用

使用 CloudFormation,我想在现有存储上设置AWS::S3::Bucket 中的一些属性。换句话说,我不想创建存储桶,我只想强制执行一些设置。这是我的 CloudFormation JSON 示例:

    "websitePreviewBucket": {
      "Type": "AWS::S3::Bucket",
      "Properties": {
        "AccessControl": "PublicRead",
        "VersioningConfiguration": {
          "Status": "Suspended"
        },
        "BucketName": "preview.website.com",
        "WebsiteConfiguration": {
          "IndexDocument": "index.html",
          "ErrorDocument": "error.html"
        }
      }
    },
Run Code Online (Sandbox Code Playgroud)

毫不奇怪,这在 CloudFormation 控制台中失败了:

The following resource(s) failed to create: [websitePreviewBucket].
preview.website.com already exists
Run Code Online (Sandbox Code Playgroud)

我已经创建了存储桶preview.website.com。我的意思是,这个帐户拥有那个存储桶。如何设置之类的东西AccessControl,并WebsiteConfiguration与CloudFormation现有的桶?

我看到另一个问题提出了类似的问题,但没有合适的答案。

amazon-s3 amazon-cloudformation

32
推荐指数
1
解决办法
3万
查看次数

来自具有 S3 源的 AWS CloudFront 的文件没有缓存控制标头

我们刚刚迁移到亚马逊 AWS。我们目前有一个运行良好的 EC2 实例。它在前端运行 Nginx,在后端运行 Apache。这也运行良好。所有站点都已正确启动,并包含从 EC2 提供的文件的 Cache-Control 标头。

问题在于我们放置在Amazon S3中的所有静态文件都是通过CloudFront CDN访问的。我们可以正常访问文件(并且 CORS 没有问题),但显然CloudFront 不提供带有 Cache-Control 标头的文件。我们想利用浏览器缓存。

在我看来,EC2 实例在这里不起作用,因为静态文件由 S3+CloudFront 直接提供,请求不会转到 EC2 中的 Web 服务器。

我完全迷失了。

问题:1)在这种情况下如何设置Cache-Control?2)是否可以设置Cache-Control?从 S3 还是 CloudFront?

注意:我在 Google 中找到了几个页面,您可以在其中为单个对象设置 S3 中的 Header。这真的不是一种特别有效的方法,因为在我的情况下,我们正在谈论几个对象。

谢谢!

cache amazon-s3 cdn amazon-cloudfront amazon-web-services

32
推荐指数
1
解决办法
3万
查看次数

自动从 s3 存储桶中删除旧项目

是否有一种简单的方法可以在 s3 中设置存储桶以自动删除超过 x 天的文件?

amazon-s3

26
推荐指数
2
解决办法
6万
查看次数

Amazon S3 中的存储桶和文件夹有什么区别?

Amazon S3BucketsFolders在 Amazon S3 中有什么区别?FolderAmazon S3 中是否存在这样的东西?还是只有 S3 客户端呈现Folders给我们以便更好地处理?

amazon-s3

25
推荐指数
1
解决办法
3万
查看次数

批量删除 S3 文件的最有效方法

我希望能够在 S3 上一次批量删除数千或数万个文件。每个文件的大小从 1MB 到 50MB 不等。自然,我不希望用户(或我的服务器)在文件被删除的过程中等待。因此,问题:

  1. S3 如何处理文件删除,尤其是在删除大量文件时?
  2. 有没有一种有效的方法可以做到这一点并使 AWS 完成大部分工作?高效,我的意思是向 S3 发出最少数量的请求并花费最少的时间使用服务器上最少的资源。

amazon-s3 batch-processing

25
推荐指数
6
解决办法
4万
查看次数

如何将 S3 存储桶移动到不同的位置

我们使用 S3 在我们的 web 应用程序中存储数百万个条目,现在我们将整个内容移动到 EC2、欧盟服务器,我们还希望将 S3 数据移动到欧盟。但是我们使用的bucket是在美国,好像没有工具可以将整个bucket内容移动到不同的bucket。

当我们切换到 EU 存储桶时,稍后如何同步数据也存在问题,即迁移运行时将同时创建的数据。

amazon-s3 amazon-ec2

23
推荐指数
3
解决办法
2万
查看次数