标签: amazon-glacier

我实际上正在使用python boto将数据存储在我的冰川保险库中,并启动检索jov和库存作业.

这非常有效.

但我没有找到任何关于用于从冰川下载档案的方法的例子？

我已经启动了检索jov和库存工作并在4小时后得到了请求ID等,但是如何使用boto获取我的存档？

谢谢你的帮助 !

我正在尝试使用lyfecycle管理选项将我的Amazon S3文件夹中的数据备份到Glacier.我选择了存储桶中的一个文件夹进行测试,并创建了一个生命周期规则,指出具有该前缀的对象需要在30天后迁移到Glacier.我今天创建了规则但是这些文件都超过了30天,所以我希望它们能够立即迁移.但我正在查看该S3文件夹,并没有注意到任何更改.如何确定备份是否实际发生？

我使用bacula + s3fs在S3上进行备份,但它不支持Glacier.是否有类似Bacula和Glacier支持的东西？

我需要

• 不同的备份策略(FULL,INCREMENTAL ...等)

• 从单个位置编辑备份作业

• 监视备份作业状态

远程服务器的PS备份会很好:)

我能够通过ArchiveTransferManager使用AWS Java SDK上传图像。但是当我检查AWS Console时，它仍然显示Archives的数量为零！

我在S3中的镶木地板中有一个数据集，该数据集按日期（dt）进行了划分，并且最早的日期存储在AWS Glacier中，以节省一些资金。例如，我们有...

s3://my-bucket/my-dataset/dt=2017-07-01/    [in glacier]
...
s3://my-bucket/my-dataset/dt=2017-07-09/    [in glacier]
s3://my-bucket/my-dataset/dt=2017-07-10/    [not in glacier]
...
s3://my-bucket/my-dataset/dt=2017-07-24/    [not in glacier]

我想读取此数据集，但只读取尚未在冰川中的一部分日期，例如：

val from = "2017-07-15"
val to = "2017-08-24"
val path = "s3://my-bucket/my-dataset/"
val X = spark.read.parquet(path).where(col("dt").between(from, to))

不幸的是，我有例外

java.io.IOException: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: The operation is not valid for the object's storage class (Service: Amazon S3; Status Code: 403; Error Code: InvalidObjectState; Request ID: C444D508B6042138)

我似乎在Glacier中有一些分区时，spark不喜欢分区数据集。我总是可以特别地阅读每个日期，在当前日期和reduce(_ union _)末尾添加该列，但是它看起来很丑陋，它不是必须的。

有什么技巧可以读取数据存储中的可用数据，即使冰川中有旧数据也是如此？

我一直在通过Amazon Java SDK使用Amazon Glacier.

我很惊讶参数是通过一个对象传递的,而不是作为单独的参数传递的.

例如,要检索作业的输出,其中参数是Vault,JobId,range,则使用以下技术:

client.getJobOutput(new GetJobOutputRequest(Vault, JobId, range));

代替:

client.getJobOutput(Vault, JobId, range);

这两种方法的优点和缺点是什么？

我只是在Amazon S3中的存储桶上启用了文件循环策略.这是配置:

root@iserver:~# aws s3api get-bucket-lifecycle-configuration --bucket ee-shares --profile s3toglacier
{
"Rules": [
{
"Status": "Enabled",
"Prefix": "",
"Transitions": [
{
"Days": 180,
"StorageClass": "GLACIER"
}
],
"ID": "test"
}
]
}

但是我无法在Glacier上看到数据,而且超过180天的对象在S3中没有显示"初始恢复"选项.

我写了一个 (java) 软件，它从 S3 存储桶下载对象（档案），在本地提取数据并对其进行操作。几天前，我将 S3 中“文件夹”中所有对象的生命周期策略设置为在创建后 2 天自动移动到冰川，以便我有时间在数据存档之前进行 DL 和提取数据。但是，以编程方式访问数据时，Amazon Web Services 会抛出错误

Exception in thread "main" com.amazonaws.services.s3.model.AmazonS3Exception: The operation is not valid for the object's storage class

我想这是因为对象的存储类已更新为 Glacier。到目前为止，我已使用以下代码访问我的 S3 数据：

public static void downloadObjectFromBucket(String bucketName, String pathToObject, String objectName) throws IOException{
    AmazonS3 s3Client = new AmazonS3Client(new ProfileCredentialsProvider());        
    S3Object object = s3Client.getObject(new GetObjectRequest(bucketName, pathToObject));
    InputStream reader = new BufferedInputStream(object.getObjectContent());
    File file = new File(objectName);      
    OutputStream writer = new BufferedOutputStream(new FileOutputStream(file));
    int read = -1;
        while ( ( read …

Amazon AWS S3 Glacier 是否支持档案库内的某种文件层次结构？

例如，在 AWS S3 中，对象通过/. 例如：all_logs/some_sub_category/log.txt

我正在存储多个.tar.gz文件，并且想要：

• 同一 Vault 中的所有文件
• 在 Vault 中，文件分为几个类别（与平面结构相反）

我无法在任何地方找到如何做到这一点。如果 S3 Glacier 内的文件层次结构是可能的，您能否提供有关如何执行此操作的简要说明？

我正在尝试使用带有Glacier的php sdk上传数据库备份,我能够使用以下代码创建和删除保管库.

<?php
require 'aws.phar';

use Aws\Glacier\GlacierClient;
use Aws\Common\Enum\Region;

$aws = GlacierClient::factory(array(
    'key'    => 'key',
    'secret' => 'secret',
    'region' => Region::US_WEST_2
));
$aws->createVault(array('vaultName'=>'newvault'));

我看到了函数uploadArchive(),initiateMultiPartUpload()和uploadMultipartPart().据我所知,我必须初始化上传,然后开始上传文件,但我不确定该函数采用的参数.

我知道方法,因为它们在这里提到https://github.com/aws/aws-sdk-php/blob/master/src/Aws/Glacier/GlacierClient.php,参数是一个参数数组我不能找到每个方法需要正确工作的内容,关于冰川和php sdk的文档实际上并不存在.

有人做这个工作吗？还是找到了好的文档？