我有兴趣使用 Amazon S3 来备份我们的 ~ 100gb 服务器映像(通过 Acronis 备份工具创建)
显然,就带宽和成本而言,每晚上传到 S3 的成本会很高。我正在考虑将 rsync 与 S3 一起使用,但遇到了s3rsync。 我只是想知道是否有人有使用这个或任何其他实用程序的经验?
我在理解我的大 S3 账单时遇到了麻烦,我想在 AWS 每月支持降低 30 美元之前我会在这里问。
基本上,我有一个Amazon EC2实例,它为不同的加密货币交换制作 API,并将响应保存到实例 HD。大约每 5 分钟调用一次,响应对象大约为 100 kb,由R脚本读取,每约 8 分钟添加到一个CSV文件。该 CSV 文件大约每 15 分钟同步到一个Amazon S3存储桶。
CSV 文件通常为 10 MB 左右,用于大约 15 种加密货币,每 15 分钟。因此,查看 Amazon S3 存储桶,最多可能使用 0.5 GB 的空间。
但是,“TimedStorage-ByteHours”的读取大小约为 4 TB!
亚马逊简单存储服务 TimedStorage-ByteHrs 89.55 美元
每 GB 0.000 USD - 每月全球免费 tier5 GB 下的存储 - Mo 0.00 USD
每 GB 0.023 美元 - 使用的前 50 TB/月存储空间 3,893.399 GB - 月 89.55 美元
有任何想法吗?
对于我托管网站的服务器,我想将数据和设置备份到 S3 存储桶。我发现您不能直接使用 rsync 备份到 S3 存储桶。是否有另一种方法可以实现以下 rsync 命令将数据备份到 S3 存储桶?
rsync -av /Data /s3bucket
Run Code Online (Sandbox Code Playgroud)
我还想将该服务器上的 mysql 数据库备份到 S3 存储桶。实现这一目标的最佳方法是什么?
最后一个问题,如果我设法将所有内容备份到 S3。如果服务器崩溃或在最坏的情况下完全擦除,恢复服务器的最佳方法是什么?我必须自己记下服务器设置并重新配置服务器还是有办法备份它?
我的 CloudFormation 模板中有一个 S3 存储桶作为资源,DeletionPolicy设置为Retain. 这按预期工作:删除堆栈时,它确实保留了存储桶。但是,当我尝试再次创建堆栈时,尝试再次创建同一个存储桶时创建失败,并显示一条错误消息,抱怨它已存在。
我需要向我的 CloudFormation 模板添加什么才能使其不尝试重新创建已存在的资源?
我的模板相关片段如下:
"Resources": {
"SomeS3Bucket" : {
"Type" : "AWS::S3::Bucket",
"DeletionPolicy" : "Retain",
"Properties": {
"BucketName": "SomeS3Bucket"
}
}
Run Code Online (Sandbox Code Playgroud) 使用 CloudFormation,我想在现有存储桶上设置AWS::S3::Bucket 中的一些属性。换句话说,我不想创建存储桶,我只想强制执行一些设置。这是我的 CloudFormation JSON 示例:
"websitePreviewBucket": {
"Type": "AWS::S3::Bucket",
"Properties": {
"AccessControl": "PublicRead",
"VersioningConfiguration": {
"Status": "Suspended"
},
"BucketName": "preview.website.com",
"WebsiteConfiguration": {
"IndexDocument": "index.html",
"ErrorDocument": "error.html"
}
}
},
Run Code Online (Sandbox Code Playgroud)
毫不奇怪,这在 CloudFormation 控制台中失败了:
The following resource(s) failed to create: [websitePreviewBucket].
preview.website.com already exists
Run Code Online (Sandbox Code Playgroud)
我已经创建了存储桶preview.website.com。我的意思是,这个帐户拥有那个存储桶。如何设置之类的东西AccessControl,并WebsiteConfiguration与CloudFormation现有的桶?
我看到另一个问题提出了类似的问题,但没有合适的答案。
我们刚刚迁移到亚马逊 AWS。我们目前有一个运行良好的 EC2 实例。它在前端运行 Nginx,在后端运行 Apache。这也运行良好。所有站点都已正确启动,并包含从 EC2 提供的文件的 Cache-Control 标头。
问题在于我们放置在Amazon S3中的所有静态文件都是通过CloudFront CDN访问的。我们可以正常访问文件(并且 CORS 没有问题),但显然CloudFront 不提供带有 Cache-Control 标头的文件。我们想利用浏览器缓存。
在我看来,EC2 实例在这里不起作用,因为静态文件由 S3+CloudFront 直接提供,请求不会转到 EC2 中的 Web 服务器。
我完全迷失了。
问题:1)在这种情况下如何设置Cache-Control?2)是否可以设置Cache-Control?从 S3 还是 CloudFront?
注意:我在 Google 中找到了几个页面,您可以在其中为单个对象设置 S3 中的 Header。这真的不是一种特别有效的方法,因为在我的情况下,我们正在谈论几个对象。
谢谢!
Amazon S3Buckets和Folders在 Amazon S3 中有什么区别?FolderAmazon S3 中是否存在这样的东西?还是只有 S3 客户端呈现Folders给我们以便更好地处理?
我希望能够在 S3 上一次批量删除数千或数万个文件。每个文件的大小从 1MB 到 50MB 不等。自然,我不希望用户(或我的服务器)在文件被删除的过程中等待。因此,问题:
我们使用 S3 在我们的 web 应用程序中存储数百万个条目,现在我们将整个内容移动到 EC2、欧盟服务器,我们还希望将 S3 数据移动到欧盟。但是我们使用的bucket是在美国,好像没有工具可以将整个bucket内容移动到不同的bucket。
当我们切换到 EU 存储桶时,稍后如何同步数据也存在问题,即迁移运行时将同时创建的数据。