我正在寻找一些建议或最佳实践来备份S3存储桶.
从S3备份数据的目的是为了防止数据丢失,原因如下:
经过一番调查后,我看到以下选项:
我应该选择什么选项以及仅在S3上存储数据的安全性如何?想听听你的意见.
一些有用的链接:
相当直截了当的问题.我设置的Amazon S3生命周期规则是否会追溯应用于数据?如果是这样,在旧数据开始存档或删除之前,我可能会看到什么样的延迟?
举个例子,假设我有一个拥有3年备份数据的存储桶.如果我创建一个新的生命周期,其中数据将在31天后存档,并在365天后删除,那么新规则是否会应用于现有数据?它会多久开始执行?
我在Amazon S3上更改了一堆我的存储桶的生命周期,因此他们的存储类设置为Glacier.我是使用在线AWS控制台完成的.我现在再次需要这些文件.
我知道如何将它们恢复到每个文件的S3.但我的桶有数千个文件.我想看看是否有办法将整个桶恢复到S3,就像有办法将整个桶送到Glacier一样?
我猜有一种编程解决方案的方法.但我想知道是否有办法在控制台中执行此操作.还是用另一个程序?或者其他我可能会失踪的东西?
我正在尝试了解复杂的亚马逊冰川定价模型.我不想存储大量数据,几GB说10.我希望永远不要下载文件,如果我确实需要,我不在乎需要多长时间.
我上传的文件是否有成本?压缩大量小文件并以几个块上传或10,000个说图像无所谓是否更便宜?(在搜索过程中无法直截了当地回答这个问题)
我可以请求下载整个存档/存储桶,还是逐个文件?
我想知道是否有一种简单的方法可以将Glacier对象永久恢复到S3.在恢复到S3时,您似乎可以恢复Glacier对象一段时间.因此,例如,我们现在有数千个文件已恢复到S3,这些文件将在90天内返回Glacier,但我们不希望它们返回Glacier.
sudo apt install awscli
安装当前版本 1.16.113-1
官方网站(https://docs.aws.amazon.com/cli/latest/userguide/install-cliv2-linux.html)支持aarch64
但不支持 armhf
。还有其他方法或我缺少的东西吗?v1 和 v2 之间的差异不是很大,但例如 v1 不支持--storage-class DEEP_ARCHIVE
amazon-s3 amazon-web-services raspberry-pi amazon-glacier aws-cli
我正在使用亚马逊的S3和冰川服务创建基于PHP的Web应用程序.
现在我想为我的网站用户提供一个功能,他们可以选择任何文件并将其归档(意味着将文件从S3移动到Glacier)并取消归档(意味着将文件从Glacier移动到S3).
我做了一些研究,但没有找到任何使用亚马逊API的方法.
问题
如何使用API在S3和冰川之间移动文件?
我正在努力降低我的AWS系统的成本.我想过移动我很少使用的一些卷到亚马逊冰川,但我发现除了下载音量并上传到Glacier之外我无法在AWS内部进行任何操作,这听起来很糟糕.
我想知道,是否可以自动执行此操作?直接从EC2控制台为冰川分配一些EC2卷?
谢谢
作为我们项目的一部分,我们在S3上创建了一个非常浓密的文件夹/文件树,所有文件占用了大约6TB的数据.我们目前没有这些数据的备份,这是不好的.我们想定期备份.看起来像冰川是要走的路.
问题是:保持备份总成本的方法是什么?
我们的大多数文件都是文本,因此我们可以压缩它们并上传整个ZIP存档.这将需要处理(在EC2上),所以我很好奇是否有任何经验法则来比较运行EC2实例以进行压缩而不仅仅是上传未压缩文件的额外成本.
此外,我们将不得不为数据传输付费,所以我想知道除了(i)从S3下载文件到实例之外是否有任何备份方式; (ii)以原始形式上传文件或将其压缩至Glacier.
我正在尝试.tar.gz
使用upload-archive
命令 ( docs )将一些文件上传到 AWS S3 Glacier 。
upload-archive
一天前,我在一个 29 GB 的.tar.gz
文件上运行了该命令,如下所示:
aws glacier upload-archive --vault-name my-vault --account-id - --archive-description "my description" --body my-file.tar.gz
Run Code Online (Sandbox Code Playgroud)
今天查了一下,发现还没有执行完。
我的问题是两部分:
upload-archive
?仅供参考,我正在使用aws-cli==2.0.17
. 预先感谢您的任何帮助!
**编辑**
运行两天后,该upload-archive
命令出错并显示以下消息:
An error occurred (InvalidParameterValueException) when calling the UploadArchive operation: Invalid Content-Length: 30957118
Run Code Online (Sandbox Code Playgroud)
这导致aws-cli #3413
. 那里的帖子与以下所有答案一致。